[論文レビュー] Learning Visuo-Haptic Skewering Strategies for Robot-Assisted Feeding

Priya Sundaresan, Suneel Belkhale+1 more|arXiv (Cornell University)|Nov 26, 2022

Tactile and Sensory Interactions被引用数 7

ひとこと要約

本論文では、1回のインタラクション中にリアルタイムの視覚的および触覚的フィードバックを統合することで、多様で未確認の食品に対して適応的に最適なスレーピング戦略を計画するゼロショット視覚・触覚連携スレーピング方策を提案する。生の感覚入力からマルチモーダル表現を学習することで、69回のスレーピング試行において6種類の食品プレートで71%の成功を達成し、単一モダリティおよび非反応型ベースラインを上回った。

ABSTRACT

Acquiring food items with a fork poses an immense challenge to a robot-assisted feeding system, due to the wide range of material properties and visual appearances present across food groups. Deformable foods necessitate different skewering strategies than firm ones, but inferring such characteristics for several previously unseen items on a plate remains nontrivial. Our key insight is to leverage visual and haptic observations during interaction with an item to rapidly and reactively plan skewering motions. We learn a generalizable, multimodal representation for a food item from raw sensory inputs which informs the optimal skewering strategy. Given this representation, we propose a zero-shot framework to sense visuo-haptic properties of a previously unseen item and reactively skewer it, all within a single interaction. Real-robot experiments with foods of varying levels of visual and textural diversity demonstrate that our multimodal policy outperforms baselines which do not exploit both visual and haptic cues or do not reactively plan. Across 6 plates of different food items, our proposed framework achieves 71% success over 69 skewering attempts total. Supplementary material, datasets, code, and videos are available on our website: https://sites.google.com/view/hapticvisualnet-corl22/home

研究の動機と目的

• ロボット支援給餌システムが、異なる質感や形状を有する未確認の食品に対して一般化できるようにすること。
• 脆いまたは変形しやすい食品を視覚的情報のみで取得する課題に取り組み、物性の誤判断により失敗しやすい状況を改善すること。
• 1回のインタラクション中に視覚的および触覚的フィードバックを活用して、即座にスレーピング戦略を適応的に変更する反応型でマルチモーダルな方策を開発すること。
• 事前にプログラムされた軌道や複数回の試行に依存することを減らし、繊細な食品を損傷させないようにすること。
• 視覚的外観が似ているが機械的性質が異なる食品クラスに対してもゼロショット一般化を実証すること。

提案手法

• システムは視覚検出に基づいて、粗くから細かくまでの視覚サーボイングにより食品に接近する。
• 接触後、生の触覚および視覚観測を収集し、HapticVisualNetと呼ばれるニューラルネットワークを介してマルチモーダル表現を形成する。このネットワークは両方の感覚モalityを符号化するように訓練されている。
• 学習された表現は、リアルタイムで食品の幾何学的および変形特性を捉える。
• 反応型スレーピング方策は、この統合表現を用いて、安定した取得を実現する最適な挿入角度と運動軌道を選択する。
• 方策は人間のデモンストレーションからのスパarselyラベルを用いて訓練され、新しい食品種類へのゼロショット一般化を可能にする。
• フレームワークは視覚サーボイングとマルチモーダル方策学習を1つの連続的インタラクションループに統合し、繰り返し試行を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 1回のインタラクションのみを用いて、視覚的および質感的性質が多様な未確認の食品に対してロボットがゼロショットで一般化可能か？
• RQ2 視覚と触覚を統合した共同認識は、単一モダリティ（視覚のみまたは触覚のみ）のアプローチと比較して、スレーピング成功にどのように寄与するか？
• RQ3 リアルタイムの感覚フィードバックに基づく反応型計画は、オープンループまたは非反応型戦略に比べて、変形しやすく壊れやすい食品の取り扱いにおいてどの程度優れているか？
• RQ4 1つのマルチモーダル表現が、幾何学的および機械的性質（例：硬さ、壊れやすさ）の両方を効果的に符号化できるか？
• RQ5 視覚的に似ているが機械的性質が異なる食品（例：生のニンジンとゆでたニンジン）に対して、システムはどの程度の性能を示すか？

主な発見

• 提案されたHapticVisフレームワークは、6種類の異なるプレートで合計69回の試行において71%のスレーピング成功を達成し、ベースラインを著しく上回った。
• 未確認のプレート（5番目および6番目）では、HapticVisは58%の成功を記録し、視覚のみのベースライン（Vis）の19%の向上を示し、強いゼロショット一般化能力を示した。
• すべてのプレートで、視覚のみ（Vis）および触覚のみ（Haptic）のベースラインを上回り、マルチモーダル統合の有効性を確認した。
• 失敗の主な原因は極めて壊れやすく（例：ダンプリング）、または非常に薄い（例：スナップエンドウ）食品に起因しており、非常に繊細または平板なアイテムには限界があると示された。
• 触覚フィードバックを活用することで、視覚的に似ているが機械的性質が異なる食品（例：生のニンジンとゆでたニンジン）を効果的に区別できた。
• マルチモーダルフィードバックを用いた反応型計画は、SPANetのようなオープンループ戦略よりも、質感的および視覚的に多様なプレートにおいてより頑健であった。