[論文レビュー] Learning Bimanual Scooping Policies for Food Acquisition

Jennifer Grannen, Yilin Wu+2 more|arXiv (Cornell University)|Nov 26, 2022

Soft Robotics and Applications被引用数 9

ひとこと要約

本稿では、閉ループの視覚フィードバックと適応的安定化を用いて、多様で変形性が高く壊れやすい食品の摂取中に食物破損を低減する、二腕型ロボットスプーン操作ポリシーであるCARBSを提案する。リスク分類器と故障分類器を学習することでプッシュャーとスプーンの距離を動的に調整し、剛性のある食品では87.0%の成功を達成し、解析的ベースラインと比較して破損を16.2%削減した。

ABSTRACT

A robotic feeding system must be able to acquire a variety of foods. Prior bite acquisition works consider single-arm spoon scooping or fork skewering, which do not generalize to foods with complex geometries and deformabilities. For example, when acquiring a group of peas, skewering could smoosh the peas while scooping without a barrier could result in chasing the peas on the plate. In order to acquire foods with such diverse properties, we propose stabilizing food items during scooping using a second arm, for example, by pushing peas against the spoon with a flat surface to prevent dispersion. The added stabilizing arm can lead to new challenges. Critically, this arm should stabilize the food scene without interfering with the acquisition motion, which is especially difficult for easily breakable high-risk food items like tofu. These high-risk foods can break between the pusher and spoon during scooping, which can lead to food waste falling out of the spoon. We propose a general bimanual scooping primitive and an adaptive stabilization strategy that enables successful acquisition of a diverse set of food geometries and physical properties. Our approach, CARBS: Coordinated Acquisition with Reactive Bimanual Scooping, learns to stabilize without impeding task progress by identifying high-risk foods and robustly scooping them using closed-loop visual feedback. We find that CARBS is able to generalize across food shape, size, and deformability and is additionally able to manipulate multiple food items simultaneously. CARBS achieves 87.0% success on scooping rigid foods, which is 25.8% more successful than a single-arm baseline, and reduces food breakage by 16.2% compared to an analytical baseline. Videos can be found at https://sites.google.com/view/bimanualscoop-corl22/home .

研究の動機と目的

• 多様な食品タイプ、特に複雑な幾何形状と変形性を示す食品の摂取において、単一アームのスプーン操作や差し込み操作の限界を克服すること。
• 壊れやすい食品の二腕操作において、スプーンとプッシュャーアームの間に過剰な力がかかることが原因となる破損失敗を軽減すること。
• 視覚フィードバックと食品リスク分類に基づいて動的に調整される、一般化可能な適応的安定化戦略を開発すること。
• ハードコードされたプリミティブに依存せずに、複数の食品や高リスク食品（豆腐、チーズケーキなど）を効果的にスプーン操作できること。
• ロボット支援給餵システムにおける、食品の形状、サイズ、材料特性の多様性にわたる耐性と一般化性能を向上させること。

提案手法

• CARBSは、スプーンアームと安定化用プッシュャーアームを備えた二腕型セットアップを採用し、摂取中に食品を保持・誘導する。
• 視覚ベースのリスク分類器が、スプーン操作の前段階で高リスクで壊れやすい食品（例：豆腐、ゼリー）を特定し、適応的制御を起動する。
• 故障分類器は、視覚的ダイナミクスを分析して破損直前の状態を検出し、食物損傷の発生を予測する。
• システムは、安定化パrameter α（プッシュャーとスプーンの距離）を動的に調整することで、力の増大を低減し、破損を防止する。
• ポリシーは閉ループの視覚フィードバックを用い、食品状態を継続的にモニタリングし、リアルタイムでプッシュャーの運動を調整する。
• 視覚データからの故障パターンの学習により、トレーニング分布外の新規食品タイプに対しても、食品クラス全体にわたる一般化が可能となる。

実験結果

リサーチクエスチョン

• RQ1 ハードコードされたプリミティブに依存せずに、多様な食品の幾何形状や材料特性に一般化できる二腕型スプーン操作ポリシーは実現可能か？
• RQ2 壊れやすく変形性のある食品の二腕操作において、破損失敗を検出し防止するロボットシステムの実装方法は何か？
• RQ3 視覚フィードバックと学習済み分類器は、スプーン操作中の食物廃棄をどれほど効果的に低減できるか？
• RQ4 一つの適応的安定化戦略が、剛性食品と壊れやすい食品の両方、複数の食品に対しても効果的に機能するか？
• RQ5 学習された反応型安定化ポリシーの性能は、固定パrameterまたは解析的ベースラインと比べてどの程度優れているか？

主な発見

• CARBSは剛性食品で87.0%の成功率を達成し、単一アームベースラインと比較して25.8%の改善を示した。
• 解析的ベースラインと比較して、食物破損を16.2%削減し、適応的安定化の有効性を実証した。
• α=1のベースラインと比較して、破損を16.185%削減し、食品タイプに応じた動的α調整のおかげで優れた性能を発揮した。
• 故障分類器は、トウフにのみトレーニングされたにもかかわらず、チーズケーキやブルーベリーといった新規食品クラスにも一般化した。
• リスク分類器は、多様な視覚的外観や幾何形状に対しても、壊れやすい食品を正しく識別でき、食品クラス内での一般化を支援した。
• システムは、残留物が生じやすい非常に粘着性の高い食品（チーズケーキ）や、複数の丸い形状の食品（ブルーベリー）に対しては、予測不能なダイナミクスのため苦戦した。