[논문 리뷰] Learning Sequential Acquisition Policies for Robot-Assisted Feeding

Priya Sundaresan, Jiajun Wu외 1명|arXiv (Cornell University)|2023. 09. 11.

Innovations in Concrete and Construction MaterialsEngineering인용 수 3

한 줄 요약

VAPORS는 로봇 보조 식사에서 고수준의 순차적 확보 정책을 시뮬레이션을 통해 잠재적 판동 역학을 이용해 분할된 이미지에서 학습하고, 실제 세계에서 시각 기반 파rameterized 저수준 프리미티브를 통해 이러한 계획을 실행하는 계층적 프레임워크이다. 이는 기준 모델들보다 뛰어난 접시 정리 효율성과 사용자 선호도를 달성하며, 새로운 소스, 토핑, 그리고 DoorDash 국수와 같은 분포 외 음식에 대해서도 평균 64%의 정리율로 일반화된다.

ABSTRACT

A robot providing mealtime assistance must perform specialized maneuvers with various utensils in order to pick up and feed a range of food items. Beyond these dexterous low-level skills, an assistive robot must also plan these strategies in sequence over a long horizon to clear a plate and complete a meal. Previous methods in robot-assisted feeding introduce highly specialized primitives for food handling without a means to compose them together. Meanwhile, existing approaches to long-horizon manipulation lack the flexibility to embed highly specialized primitives into their frameworks. We propose Visual Action Planning OveR Sequences (VAPORS), a framework for long-horizon food acquisition. VAPORS learns a policy for high-level action selection by leveraging learned latent plate dynamics in simulation. To carry out sequential plans in the real world, VAPORS delegates action execution to visually parameterized primitives. We validate our approach on complex real-world acquisition trials involving noodle acquisition and bimanual scooping of jelly beans. Across 38 plates, VAPORS acquires much more efficiently than baselines, generalizes across realistic plate variations such as toppings and sauces, and qualitatively appeals to user feeding preferences in a survey conducted across 49 individuals. Code, datasets, videos, and supplementary materials can be found on our website: https://sites.google.com/view/vaporsbot.

연구 동기 및 목표

• 로봇이 시간이 지남에 따라 전문화된 조작 전략을 조합해야 하는 장기적인 시간 범위, 다단계 음식 확보 과제를 해결하기 위해.
• 이미지 기반 잠재 역학을 사용해 시뮬레이션에서 고수준 계획을 학습하고, 저수준 실행에 실제 세계의 시각 정보에 의존함으로써 시뮬레이션에서 실제 세계로의 격차를 해소하기 위해.
• 소스, 토핑, 배달 음식과 같은 분포 외 음식과 같은 다양한 음식 변형에 대한 일반화를 가능하게 하기 위해.
• 사람과 유사한 식사 전략을 모방함으로써 사용자 경험을 향상시키기 위해, 예를 들어 확보 전에 음식을 뭉쳐서 모으는 것과 같은 전략을 포함하기 위해.
• 특수화된, 시각 기반 파rameterized 프리미티브를 사용한 계층적 계획이 효율적이고 직관적인 접시 정리 가능성을 입증하기 위해.

제안 방법

• VAPORS는 시뮬레이션에서 모델 기반 강화 학습을 통해 훈련된 고수준 정책을 사용하여, 접시의 분할된 이미지 관측 결과를 바탕으로 다양한 조작 전략(예: 땅콩줄무늬, 떼어내기 등) 중에서 선택한다.
• 고수준 정책은 이미지 표현에서 유도된 잠재적 접시 역학을 모델링하여, 음식 확보와 재배열을 동시에 최적화한다.
• 저수준 동작은 포즈 추정과 분할을 사용해 실제 세계 데이터에서 훈련된 시각 기반 파rameterized 프리미티브(예: 포크 땅콩줄무늬, 양손 떼어내기 등)를 사용해 실행된다.
• 이 프레임워크는 고수준 계획(시뮬레이션에서 수행)과 저수준 실행(실제 세계에서 수행)을 분리함으로써 확장 가능한 정책 학습과 실제 세계 적응성을 가능하게 한다.
• 시뮬레이션과 실제 세계 환경 간의 전이 가능성을 확보하기 위해, 분할된 이미지 입력을 상태 표현으로 사용한다.
• 시스템은 계층적으로 행동 시퀀스를 계획하며, 고수준 정책이 다음 전략을 선택하고, 저수준 정책이 시각 피드백을 통해 이를 실행한다.

Figure 1: Visual Action Planning OveR Sequences (VAPORS) employs a high level policy $\pi_{H}$ to select amongst discrete manipulation strategies $h$ , such as grouping and twirling, and a low-level vision-parameterized policy $\pi_{L}$ to execute these actions $a_{t}$ for long-horizon dexterous foo

실험 결과

연구 질문

• RQ1 계층적 강화 학습 프레임워크는 여러 전문화된 조작 전략을 조합하는 장기적인 시간 범위의 음식 확보 정책을 효과적으로 학습할 수 있는가?
• RQ2 이미지 기반 잠재 역학을 사용한 시뮬레이션 내 고수준 계획이, 새로운 음식 변형이 있는 실제 세계의 접시 정리에 일반화될 수 있는가?
• RQ3 시각 기반 파rameterized 저수준 프리미티브의 사용이 히우리스틱 또는 단일 프리미티브 기반 기준 모델 대비 성능과 사용자 선호도를 향상시키는가?
• RQ4 시스템은 소스, 토핑, 복잡한 음식 배열이 있는 분포 외 접시에 대해 어느 정도 일반화될 수 있는가?
• RQ5 사용자들은 VAPORS의 식사 행동을 효율성, 자연스러움, 직관성 측면에서 기준 방법들과 비교해 어떻게 평가하는가?

주요 결과

• VAPORS는 순수 국수(티어 1)에서 90%의 접시 정리율, 소스가 있는 국수(티어 2)에서 68%, DoorDash 국수(티어 3)에서 64%의 정리율을 기록하여 강력한 제로샷 일반화 능력을 입증했다.
• 여러 기준에서 통계적으로 유의미한 높은 사용자 선호도 평가를 보였으며(p < 0.05), 사용자들은 자연스러운 식사 행동을 모방한다고 언급했다.
• 사용자들은 VAPORS가 기준 모델들보다 더 효율적이고 직관적이라고 평가했으며, 특히 확보 전에 음식을 뭉쳐서 모으는 능력을 높이 평가했다.
• 실패 원인은 주로 오인별 인식(18–25%의 실패), 그 다음으로는 실수(티어 3에서 23%)였으며, 특히 소스나 미끄러운 음식에서 두드러졌다.
• VAPORS는 정량적 정리율과 정성적 사용자 피드백 모두에서 Acquire-Only 및 Heuristic 기준 모델을 능가했다.
• 프레임워크는 실제 시험에서 양손 떼어내기와 국수 땅콩줄무늬와 같은 복잡한 시퀀스를 성공적으로 실행하여, 뛰어난 기민한 조작 능력을 입증했다.

Figure 2: Action Parameterization: We parameterize acquisition and rearrangement actions relative to the densest $(x_{d},y_{d},z_{d})$ and furthest $(x_{f},y_{f},z_{f})$ regions on the plate, as well as the utensil roll $\gamma$ and pitch $\beta$ .