[論文レビュー] Robot-Assisted Feeding: Generalizing Skewering Strategies across Food Items on a Realistic Plate

Ryan Feng, Youngsun Kim+6 more|arXiv (Cornell University)|Jun 5, 2019

Robot Manipulation and Learning参考文献 26被引用数 13

ひとこと要約

本稿では、学習された行動方針を用いて、未観測の食品に対してすくい取り戦略を一般化するロボット支援給餌システムを提示する。16種類の食品に対して2,450回の Bite 取得試行を収集し、視覚的および環境的特徴を考慮する SPANet と呼ばれるネットワークを訓練した。このネットワークは行動成功確率を予測し、最適なすくい取り戦略を選択し、ごみの多い皿において未観測の食品で91%の成功を達成した。

ABSTRACT

A robot-assisted feeding system must successfully acquire many different food items. A key challenge is the wide variation in the physical properties of food, demanding diverse acquisition strategies that are also capable of adapting to previously unseen items. Our key insight is that items with similar physical properties will exhibit similar success rates across an action space, allowing the robot to generalize its actions to previously unseen items. To better understand which skewering strategy works best for each food item, we collected a dataset of 2450 robot bite acquisition trials for 16 food items with varying properties. Analyzing the dataset provided insights into how the food items' surrounding environment, fork pitch, and fork roll angles affect bite acquisition success. We then developed a bite acquisition framework that takes the image of a full plate as an input, segments it into food items, and then applies our Skewering-Position-Action network (SPANet) to choose a target food item and a corresponding action so that the bite acquisition success rate is maximized. SPANet also uses the surrounding environment features of food items to predict action success rates. We used this framework to perform multiple experiments on uncluttered and cluttered plates. Results indicate that our integrated system can successfully generalize skewering strategies to many previously unseen food items.

研究の動機と目的

• ロボット支援給餌において、トレーニング時に見られなかった食品に対して、食品の acquisition 戦略を一般化する課題に取り組む。
• 各食品種別にすくい取り位置を手動でラベル付けする必要がある従来の手法の限界を克服する。
• 物理的および環境的特徴を活用して、成功するすくい取り行動を予測するデータ駆動型フレームワークを開発する。
• 1つの統合システムを用いて、ごみの少ない皿とごみの多い皿の両方で頑健な Bite 取得を実現する。
• 多様な食品特性を持つ実世界の実験を通じて、クラス外の食品に一般化できることを示す。

提案手法

• 物理的性質や環境的条件にばらつきのある16種類の食品に対して、合計2,450回のロボット Bite 取得試行のデータセットを収集した。
• スクリーニング位置行動ネットワーク（SPANet）を訓練し、クロップされた食品画像と環境的文脈に基づいて6つの事前定義されたすくい取り行動の成功確率を予測した。
• SPANet は、分離度、皿縁からの接近度、または積み重ねの有無といった環境的特徴を、別個の環境分類器を介して分類して統合している。
• SPANet をフルパイプラインに統合した：全皿画像 → RetinaNet を用いた物体検出 → 環境分類 → SPANet を用いた行動選択。
• 予測された成功確率を基に、各食品に対して最適なすくい取り行動（垂直、垂直または傾斜したフォーク先の傾きありなど）を選択した。
• 選択された行動を実行するための運動計画を適用し、感知や計画の異常発生時に備えてフォールバック機構を設けた。

実験結果

リサーチクエスチョン

• RQ1 トレーニング時に見られなかった食品について、物理的および環境的類似性に基づいてすくい取り戦略を一般化できるか？
• RQ2 皿縁への接近度や積み重ねの有無といった環境要因は、Bite 取得成功確率にどのように影響するか？
• RQ3 食品種別に手動ラベル付けを一切行わずに、視覚ベースのモデルが成功するすくい取り行動をどの程度正確に予測できるか？
• RQ4 ごみの多い皿において、未観測の食品に対してこのシステムはどの程度の性能を示すか？
• RQ5 フォークのピッチ角およびロール角は、多様な食品に対してすくい取り行動の成功にどのような役割を果たすか？

主な発見

• SPANet は、クラス外の食品（例：カントゥラベ、ハニーデュ、パプリカ）を含むごみの多い皿構成において、91%の Bite 取得成功確率を達成した。
• クラス外の2枚の皿において、11回の試行で10個の食品をすべて成功して取得したが、クラス内皿（ハニーデュ）では1回の失敗のみが発生した。
• ニンジンについては、10回の試行で完全に期待される成功確率を達成し、失敗は一切なかった。
• イチゴを積み重ねた状態の試行では10回中1回の失敗が発生したが、イチゴを壁に近づけて配置した状態では、SPANet が最良の行動を選択しなかったにもかかわらず、予測された成功確率と一致した。
• 同様の食品種に対してはモデルの一般化がうまくいったが、滑らかで中身が柔らかい食品（バナナ、キウイ）では、視覚モodal の制限により困難をきたした。
• 背景との類似性（例：緑色のレタス）により、25回の検出試行のうち3回で感知異常が発生した。また、複雑なごみの影響により、5回の運動計画失敗が発生した。