[論文レビュー] RoboChop: Autonomous Framework for Fruit and Vegetable Chopping Leveraging Foundational Models

Atharva Dikshit, Alison Bartsch+2 more|arXiv (Cornell University)|Jul 24, 2023

Smart Agriculture and AI被引用数 5

ひとこと要約

RoboChop は、YOLO および SAM のような視覚基盤モデルを組み合わせることで、ごみだらけのまな板における多様な果物・野菜の切断を自律的に行うロボットフレームワークを提示する。タスク計画では 97%、セグメンテーションでは 91% の成功を達成し、さまざまな物体や切断仕様に対して堅牢な性能を示している。

ABSTRACT

With the goal of developing fully autonomous cooking robots, developing robust systems that can chop a wide variety of objects is important. Existing approaches focus primarily on the low-level dynamics of the cutting action, which overlooks some of the practical real-world challenges of implementing autonomous cutting systems. In this work we propose an autonomous framework to sequence together action primitives for the purpose of chopping fruits and vegetables on a cluttered cutting board. We present a novel technique to leverage vision foundational models SAM and YOLO to accurately detect, segment, and track fruits and vegetables as they visually change through the sequences of chops, finetuning YOLO on a novel dataset of whole and chopped fruits and vegetables. In our experiments, we demonstrate that our simple pipeline is able to reliably chop a variety of fruits and vegetables ranging in size, appearance, and texture, meeting a variety of chopping specifications, including fruit type, number of slices, and types of slices.

研究の動機と目的

• 混雑したまな板上の果物・野菜の切断を完全に自律的に行うシステムを開発し、低レベルの切断メカニズムをはるかに超えた現実世界の実用的課題に取り組む。
• 連続的な切断操作の過程で外観が変化する果物・野菜の追跡および識別を困難にすることを克服する。
• 低レベルのアクションプリミティブを知的にシーケンシングすることで、柔軟で目的指向の切断（例えば、均等なスライス、長いストリップ）を実現する。
• 検出モデルのトレーニングおよび評価を支援するため、全貌および切断済みの果物・野菜の新しい公開データセットを構築する。
• 部分的な障害や動的なワークスペース条件に対応できる、きめ細やかなエンドツーエンドのロボットパイプラインに、視覚基盤モデル（YOLO および SAM）を統合する。

提案手法

• 新たに収集した 3 種類の食品データセットで微調整された YOLO を活用し、全貌および切断済みの果物・野菜のリアルタイム物体検出を実現する。
• 繰り返しのプロンプトベースの最適化を用いた Segment Anything Model (SAM) を用い、切断中および切断後に物体の正確なインスタンスレベルのセグメンテーションマスクを生成する。
• YOLO の検出結果を基に SAM のゼロショットセグメンテーションをガイドすることで、YOLO と SAM の出力を統合し、動的なシーンにおける正確性と一貫性を向上させる。
• チョッピング、ディスラプト、ピックアンドプレースなどのアクションプリミティブを含むモジュラーなアクションプリミティブライブラリを設計し、タスク計画および障害からの回復を可能にする。
• 階層的な計画パイプラインを実装：物体検出 → セグメンテーションおよびトラッキング → アクションシーケンスの計画 → 実行（リアルタイムフィードバックおよび衝突回避を伴い）。
• 部分的に切断された、または転がった物体を再配置するためのディスラプトプリミティブを統合し、視覚的・機械的障害に対する耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 視覚ベースのロボットシステムは、混雑したワークスペースにおいて、複数回の切断操作を経ても果物・野菜を信頼性高く検出・セグメンテーション・トラッキングできるか？
• RQ2 YOLO と SAM の統合は、動的で複数ステップにわたる切断タスク中に、正確なオブジェクトインスタンスセグメンテーションとトラッキングをどの程度実現できるか？
• RQ3 シンプルでモジュラーなアクションプリミティブフレームワークは、さまざまなオブジェクトタイプにわたり、多様な切断目的（例えば、均等なスライス、長いストリップ）をどの程度達成できるか？
• RQ4 部分的な障害（不完全なカットや物体のずれ）に対して、システムはどの程度耐性を示し、回復メカニズムがタスク進行を回復できるか？
• RQ5 初期設定やターゲットスライス数が異なる複数のオブジェクトを含む混雑したシーンにおいて、システムの性能はどの程度か？

主な発見

• YOLO-SAM フュージョンパイプラインを用いたオブジェクトインスタンスセグメンテーションで 91% の成功を達成し、単体の SAM や YOLO より顕著に優れた性能を示した。
• タスク計画は 97% のケースで成功し、さまざまな切断仕様を満たすアクションシーケンスプランナーの有効性を示した。
• 単一オブジェクト実験では、均等なスライスヒューリスティックがリンゴおよびきゅうりで 100% の成功を達成したが、きゅうりでは長スライスヒューリスティックが 80%、ニンジンでは 40% の成功率にとどまり、長く細い物体には課題があることが示された。
• 複数オブジェクトの混雑したシーンでは、10回の実験のうち 7 件（70%）のタスクが正常に完了した。障害分析から、物体の転がりと不完全なカットが主な原因であることが判明した。
• ディスラプトプリミティブにより、部分的なカットからの回復が可能であることが、実験 10 で確認された。再配置により、初期の失敗後も正常にタスクを完了できた。
• 視覚システムの誤りに対しても、システムは検出と再計画が可能であり、部分的障害後に再計画を実行できる。これは、モジュラーで回復可能なアクション設計の価値を強調している。