[논문 리뷰] Learning Visuo-Haptic Skewering Strategies for Robot-Assisted Feeding

Priya Sundaresan, Suneel Belkhale외 1명|arXiv (Cornell University)|2022. 11. 26.

Tactile and Sensory Interactions인용 수 7

한 줄 요약

이 논문은 한 번의 상호작용 중 실시간 시각적 및 촉각 피드백을 융합하여 다양한 익히지 않은 식재료에 대해 최적의 꽂기 전략을 적응적으로 계획하는 제로샷 시각-촉각 꽂기 정책을 제안한다. 원시 감각 입력에서 다중모odal 표현을 학습함으로써, 이 시스템은 다양한 식재료 접시에서 총 69회의 꽂기 시도 중 71%의 성공률을 달성하며, 단일모달 및 비반응형 기준선들을 능가한다.

ABSTRACT

Acquiring food items with a fork poses an immense challenge to a robot-assisted feeding system, due to the wide range of material properties and visual appearances present across food groups. Deformable foods necessitate different skewering strategies than firm ones, but inferring such characteristics for several previously unseen items on a plate remains nontrivial. Our key insight is to leverage visual and haptic observations during interaction with an item to rapidly and reactively plan skewering motions. We learn a generalizable, multimodal representation for a food item from raw sensory inputs which informs the optimal skewering strategy. Given this representation, we propose a zero-shot framework to sense visuo-haptic properties of a previously unseen item and reactively skewer it, all within a single interaction. Real-robot experiments with foods of varying levels of visual and textural diversity demonstrate that our multimodal policy outperforms baselines which do not exploit both visual and haptic cues or do not reactively plan. Across 6 plates of different food items, our proposed framework achieves 71% success over 69 skewering attempts total. Supplementary material, datasets, code, and videos are available on our website: https://sites.google.com/view/hapticvisualnet-corl22/home

연구 동기 및 목표

• 다양한 질감과 형상의 익히지 않은 식재료에 대해 일반화할 수 있도록 로봇 보조 식사 보조 시스템을 구현하는 것.
• 재료의 물리적 성질를 잘못 판단함으로써 실패하는 경우가 많은 단순 시각적 신호만으로 취약하거나 변형이 쉬운 식재료를 확보하는 데 도전하는 것.
• 단일 상호작용 중 실시간으로 시각적 및 촉각적 피드백을 활용하여 적응적인 꽂기 전략을 즉각적으로 조정하는 반응형 다중모달 정책을 개발하는 것.
• 사전에 프로그래밍된 궤적이나 반복적인 상호작용에 의존하는 것을 줄여 부드럽고 섬세한 식재료를 손상시키는 것을 방지하는 것.
• 유사한 외관을 지니지만 기계적 성질이 다른 식재료를 포함한 새로운 식재료 클래스에 대해 제로샷 일반화를 입증하는 것.

제안 방법

• 시스템은 시각적 탐지 기반으로 굵기에서 세밀한 시각 서보를 사용하여 식재료에 접근한다.
• 접촉 시, 원시 촉각 및 시각적 관측치를 수집하여 HapticVisualNet이라 불리는 신경망을 통해 다중모달 표현을 형성한다. 이 네트워크는 두 감각 모odal을 모두 인코딩하도록 훈련된다.
• 학습된 표현은 실시간으로 식재료의 기하학적 구조와 변형 성질을 모두 포착한다.
• 반응형 꽂기 정책은 이 융합된 표현을 사용하여 안정적인 확보를 위해 최적의 삽입 각도와 운동 궤적을 선택한다.
• 정책은 인간의 시연에서 유래한 희소 레이블을 사용하여 훈련되며, 새로운 식재료 유형에 대한 제로샷 일반화를 가능하게 한다.
• 프레임워크는 시각 서보와 다중모달 정책 학습을 하나의 연속적인 상호작용 루프로 통합하여 반복적인 尝시도를 최소화한다.

실험 결과

연구 질문

• RQ1 로봇이 단일 상호작용을 통해 다양한 시각적 및 질감적 성질을 지닌 익히지 않은 식재료에 대해 제로샷 일반화를 달성할 수 있는가?
• RQ2 시각-촉각 융합을 통한 공동 인식이 단일모달(시각 전용 또는 촉각 전용) 접근 방식보다 꽂기 성공률을 얼마나 향상시키는가?
• RQ3 실시간 감각 피드백 기반의 반응형 계획이 탄성 및 취약한 식재료를 다룰 때 개방형 또는 비반응형 전략에 비해 어느 정도 뛰어난가?
• RQ4 단일 다중모달 표현이 기하학적 구조와 기계적 성질(예: 단단함, 취약성 등)을 동시에 효과적으로 인코딩할 수 있는가?
• RQ5 유사한 외관을 지니지만 기계적 성질이 다른 식재료(예: 생 당근 vs. 끓인 당근)에 대해 시스템은 어떤 성능을 보이는가?

주요 결과

• 제안된 HapticVis 프레임워크는 6종의 다양한 접시에서 총 69회의 시도 중 71%의 꽂기 성공률를 기록했으며, 기준선들보다 뚜렷이 뛰어난 성능을 보였다.
• 익히지 않은 접시(5번 및 6번)에서 HapticVis는 58%의 성공률를 기록했으며, 시각 전용 기준선(Vis)보다 19% 높은 성능을 보여, 강력한 제로샷 일반화 능력을 입증했다.
• 모든 접시에서 시각 전용(Vis) 및 촉각 전용(Haptic) 기준선보다 성능이 뛰어나, 다중모달 융합의 유용성을 확인했다.
• 실패 원인은 주로 극도로 취약한(예: 만두) 또는 얇은(예: 브로콜리) 식재료에서 기인했으며, 매우 섬세하거나 평평한 물체에 대한 한계를 보여주었다.
• 촉각 피드백을 활용하여 외관은 유사하지만 기계적 성질이 다른 식재료(예: 생 당근 vs. 끓인 당근)를 성공적으로 구분했다.
• 다중모달 피드백 기반의 반응형 계획은 SPANet와 같은 개방형 전략보다 더 견고했으며, 특히 질감과 시각적 특성이 다양하게 섞인 접시에서 뚜렷한 우수성을 보였다.