[논문 리뷰] Learning Bimanual Scooping Policies for Food Acquisition

Jennifer Grannen, Yilin Wu외 2명|arXiv (Cornell University)|2022. 11. 26.

Soft Robotics and Applications인용 수 9

한 줄 요약

이 논문은 다양한 변형성 있고 취약한 식품을 확보할 때 식품 파손을 줄이기 위해 피드백 기반 시각 정보와 적응형 안정화를 사용하는 양손 로봇 숟가락 정책인 CARBS를 제안한다. 위험 분류기와 실패 분류기를 학습하여 푸시어-스쿠퍼 거리를 동적으로 조정함으로써, 고체 식품에서 87.0%의 성공률를 달성하고 분석 기반 기준 대비 16.2%의 파손 감소를 이룬다.

ABSTRACT

A robotic feeding system must be able to acquire a variety of foods. Prior bite acquisition works consider single-arm spoon scooping or fork skewering, which do not generalize to foods with complex geometries and deformabilities. For example, when acquiring a group of peas, skewering could smoosh the peas while scooping without a barrier could result in chasing the peas on the plate. In order to acquire foods with such diverse properties, we propose stabilizing food items during scooping using a second arm, for example, by pushing peas against the spoon with a flat surface to prevent dispersion. The added stabilizing arm can lead to new challenges. Critically, this arm should stabilize the food scene without interfering with the acquisition motion, which is especially difficult for easily breakable high-risk food items like tofu. These high-risk foods can break between the pusher and spoon during scooping, which can lead to food waste falling out of the spoon. We propose a general bimanual scooping primitive and an adaptive stabilization strategy that enables successful acquisition of a diverse set of food geometries and physical properties. Our approach, CARBS: Coordinated Acquisition with Reactive Bimanual Scooping, learns to stabilize without impeding task progress by identifying high-risk foods and robustly scooping them using closed-loop visual feedback. We find that CARBS is able to generalize across food shape, size, and deformability and is additionally able to manipulate multiple food items simultaneously. CARBS achieves 87.0% success on scooping rigid foods, which is 25.8% more successful than a single-arm baseline, and reduces food breakage by 16.2% compared to an analytical baseline. Videos can be found at https://sites.google.com/view/bimanualscoop-corl22/home .

연구 동기 및 목표

• 복잡한 기하학적 형태와 변형성으로 인해 단일 팔 숟가락 정책과 꼬임 방식의 한계를 해결하기 위해 다양한 식품 유형을 확보하는 데 초점한다.
• 취약한 식품을 양손으로 조작할 때 숟가락과 푸시어 팔 사이의 과도한 힘으로 인한 파손 실패를 완화한다.
• 시각 피드백과 식품 위험 분류에 기반해 동적으로 조정되는 일반화 가능한 적응형 안정화 전략을 개발한다.
• 하드코딩된 프리미티브에 의존하지 않고, 다수의 식품 항목과 편육, 케이크와 같은 고위험 식품을 효과적으로 숟가락질할 수 있도록 한다.
• 로봇 보조 식사 보조 시스템에서 식품 형태, 크기, 물리적 성질의 다양성에 걸쳐 내구성과 일반화 능력을 향상시킨다.

제안 방법

• CARBS는 식품 확보 중에 식품을 고정하고 이동을 안내하기 위해 숟가락 팔과 안정화 푸시어 팔을 갖춘 양손 구조를 사용한다.
• 시각 기반 위험 분류기는 숟가락질 전에 고위험 취약 식품(예: 편육, 젤리)을 식별하여 적응형 제어를 활성화한다.
• 실패 분류기는 시각적 동역학을 분석하여 파손 임박 상태를 감지하고 식품 손상 가능성을 예측한다.
• 시스템은 안정화 파라미터 α—푸시어와 숟가락 사이의 거리—를 동적으로 조정하여 힘을 줄이고 파손을 방지한다.
• 정책은 실시간으로 식품 상태를 지속적으로 모니터링하고 푸시어의 운동을 조정하기 위해 피드백 기반 시각 피드백을 사용한다.
• 시각 데이터에서 실패 패턴을 학습함으로써, 훈련 데이터 분포 외의 새로운 식품 유형에 대해서도 식품 유형에 따라 동적으로 α를 조정함으로써 다양한 식품 클래스로 일반화된다.

실험 결과

연구 질문

• RQ1 하드코딩된 프리미티브에 의존하지 않고도 다양한 식품 기하학적 형태와 물리적 성질에 대해 양손 숟가락 정책이 일반화될 수 있는가?
• RQ2 로봇 시스템은 취약하고 변형성이 큰 식품을 양손으로 확보할 때 파손 실패를 어떻게 감지하고 방지할 수 있는가?
• RQ3 시각 피드백과 학습된 분류기가 숟가락질 중 식품 손실을 줄이고 안정화를 향상시키는 데 얼마나 기여하는가?
• RQ4 단일 적응형 안정화 전략이 고체 식품과 취약 식품, 다수의 식품을 효과적으로 처리할 수 있는가?
• RQ5 학습된 반응형 안정화 정책의 성능은 고정 파라미터 또는 분석 기반 기준 대비 어떻게 비교되는가?

주요 결과

• CARBS는 고체 식품에서 87.0%의 성공률를 기록하여 단일 팔 기준 대비 25.8% 향상되었다.
• 분석 기반 기준 대비 식품 파손을 16.2% 감소시켜 적응형 안정화의 효과를 입증했다.
• α=1 기준 대비 16.185%의 파손 감소를 기록했으며, 다양한 식품 유형에 따라 동적으로 α를 조정함으로써 뛰어난 성능을 보였다.
• 실패 분류기는 훈련 시 편육만을 대상으로 했음에도 불구하고, 케이크와 파란수박과 같은 새로운 식품 유형으로 일반화되었다.
• 위험 분류기는 다양한 시각적 외관과 기하학적 형태를 가진 식품에서 취약 식품을 성공적으로 식별하여 식품 유형 내 일반화를 지원했다.
• 점성이 강한 식품인 케이크는 잔류물로 인해 어려움을 겪었고, 둥근 물체가 다수일 경우, 예측 불가능한 동역학으로 인해 블루베리와 같은 물체에서는 어려움을 겪었다.