[論文レビュー] DALL-E-Bot: Introducing Web-Scale Diffusion Models to Robotics

Ivan Kapelyukh, Vitalis Vosylius+1 more|arXiv (Cornell University)|Oct 5, 2022

Topic Modeling被引用数 8

ひとこと要約

DALL-E-Bot は、DALL-E などのウェブスケール拡散モデルを用いて、自然言語記述から人間らしい物体配置を生成するゼロショット、オープンセットのロボティクスフレームワークを提案する。物体の識別を推論し、テキスト条件付き生成によって目的画像を生成し、CLIP と ICP を用いてそれらを現実のポーズに一致させることで、訓練やデモなしに自律的かつ高精度な再配置を実現する。

ABSTRACT

We introduce the first work to explore web-scale diffusion models for robotics. DALL-E-Bot enables a robot to rearrange objects in a scene, by first inferring a text description of those objects, then generating an image representing a natural, human-like arrangement of those objects, and finally physically arranging the objects according to that goal image. We show that this is possible zero-shot using DALL-E, without needing any further example arrangements, data collection, or training. DALL-E-Bot is fully autonomous and is not restricted to a pre-defined set of objects or scenes, thanks to DALL-E's web-scale pre-training. Encouraging real-world results, with both human studies and objective metrics, show that integrating web-scale diffusion models into robotics pipelines is a promising direction for scalable, unsupervised robot learning.

研究の動機と目的

• 事前学習済みの拡散モデルを用いて、構造のない環境でゼロショット、オープンセットの物体再配置を可能にすること。
• 実世界のシーンと拡散生成画像の間のドメインギャップを埋め、ロボットの実行精度を高めること。
• 事前に配置された物体を条件としてインpaintingを活用することで、人間とロボットの協調的再配置を可能にすること。
• 客観的指標と人間の評価を併用して評価し、日常的なタスクへの一般化を示すこと。
• 高価なデータ収集やファインチューニングを回避するスケーラブルで自己教師ありのパイプラインを確立すること。

提案手法

• RGB 入力から物体検出とセグメンテーションを用いて、物体中心のシーン表現を生成する。
• 検出された物体を記述するテキストプロンプトを DALL-E に供給し、自然で人間らしい配置の目的画像を生成する。
• CLIP 特徴に基づくクロスインスタンスハンガリアンマッチングにより、実世界と生成画像の間の物体をドメイン間で一致させる。
• インスタンスセグメンテーションマスク上の ICP アライメントにより 3D ポーズ推定を精緻化し、セマンティック特徴マップ上の光度損失によりアライメント精度を向上させる。
• インpainting を用いて、事前に配置された物体を条件として拡散モデルに与えることで、協調的再配置を可能にする。
• 生成品質の向上と拡散出力におけるモード崩壊の低減を目的として、サンプル＆フィルタ戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 DALL-E などのウェブスケール拡散モデルを、ファインチューニングやデータ収集なしにゼロショット、オープンセットのロボット再配置に使用できるか。
• RQ2 ロボットは、ドメインギャップを考慮して、拡散モデルから生成された画像と現実の物体ポーズをどの程度正確に一致できるか。
• RQ3 拡散モデルにおけるインpainting は、人間とロボットの協調的再配置をどの程度可能にするか。
• RQ4 生成された配置は、位置、方向、美的質において人間の好みと比較してどの程度優れているか。
• RQ5 この手法は、多様で構造のない実世界のシーンや物体セットに一般化できるか。

主な発見

• フォークに関して、DALL-E-Bot は中央位置誤差 4.95 cm、方向誤差 1.26° を達成し、ベースラインの Rand-No-Coll (25.85 cm, 70.32°) や Geometric (15.59 cm, 40.57°) を上回った。
• プレートに関しては、位置誤差 1.28 cm、方向誤差 0° を達成し、Rand-No-Coll の 10.78 cm および無限大（-）の誤差を大きく上回った。
• 3000件の評価を含むユーザー調査では、DALL-E-Bot が生成した配置がヒューリスティックベースラインよりも強く好まれた。
• インpainting を活用して事前に配置された物体を条件として利用し、人間の入力を組み込んだ協調的再配置を成功させた。
• サンプル＆フィルタ戦略は、生成品質の向上と画像生成における失敗ケースの低減において、経験的に極めて重要であった。
• このフレームワークは、ダイニングテーブル、オフィス、キッチンなどの多様な実世界の再配置タスクにおいて、強固に機能した。