[論文レビュー] TIDEE: Tidying Up Novel Rooms using Visuo-Semantic Commonsense Priors

Gabriel Sarch, Zhaoyuan Fang+5 more|arXiv (Cornell University)|Jul 21, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

TIDEE は、ロボットの部屋片付けを目的とした視覚的・意味的共通認識推論フレームワークを提案する。このフレームワークでは、グラフ畳み込みネットワーク（rGCN）を用いて妥当な収納場所の文脈を推論し、言語に依存する「不適切な配置」検出器を用いて誤配置された物体を優先順位付けする。3D意味マッピング、FMMに基づくナビゲーション、学習可能な言語的事前知識を統合することで、TIDEE は 2021 年リアレンジメントチャレンジで 8.9% FixedStrict および 2.6% Success を達成し、ベースラインを著しく上回り、自然言語指示による配置事前知識の動的適応を可能にした。

ABSTRACT

We introduce TIDEE, an embodied agent that tidies up a disordered scene based on learned commonsense object placement and room arrangement priors. TIDEE explores a home environment, detects objects that are out of their natural place, infers plausible object contexts for them, localizes such contexts in the current scene, and repositions the objects. Commonsense priors are encoded in three modules: i) visuo-semantic detectors that detect out-of-place objects, ii) an associative neural graph memory of objects and spatial relations that proposes plausible semantic receptacles and surfaces for object repositions, and iii) a visual search network that guides the agent's exploration for efficiently localizing the receptacle-of-interest in the current scene to reposition the object. We test TIDEE on tidying up disorganized scenes in the AI2THOR simulation environment. TIDEE carries out the task directly from pixel and raw depth input without ever having observed the same room beforehand, relying only on priors learned from a separate set of training houses. Human evaluations on the resulting room reorganizations show TIDEE outperforms ablative versions of the model that do not use one or more of the commonsense priors. On a related room rearrangement benchmark that allows the agent to view the goal state prior to rearrangement, a simplified version of our model significantly outperforms a top-performing method by a large margin. Code and data are available at the project website: https://tidee-agent.github.io/.

研究の動機と目的

• 新しい未構造的環境において、物が誤って置かれており、収納場所の文脈が曖昧な状況でのロボットの部屋片付けの課題に対処すること。
• シーンの文脈と物体間の関係から得られる視覚的・意味的共通認識事前知識を活用して、物体の配置精度を向上させること。
• 自然言語指示による微調整を通じて、訓練後も配置事前知識を動的に適応させることで、エージェントが新しい文脈的ルールを学習できること。
• 3D意味マッピング、FMMに基づくナビゲーション、および二段階の検出パイプラインを統合した、堅牢でエンドツーエンドのシステムを構築すること。
• 2021 年および 2022 年のリアレンジメントチャレンジのような標準化されたベンチマークで性能を評価し、未観測環境への一般化能力を示すこと。

提案手法

• TIDEE は RGB-D 観測から 2D および 3D 空間マップを構築し、116 種類の物体カテゴリを含む 3D 意味的占有マップと、3D センタロイドの動的メモリを維持する。
• 2D 物体検出には dDETR ディテクタを用い、深度データとガウスフィルタリングを用いてバウンディングボックスを 3D に投影することで、信頼性が低い 3D ディテクタに依存しない。
• グラフ畳み込みネットワーク（rGCN）は、3D シーン内の物体と収納場所の間の関係をモデル化することで、妥当な収納場所の文脈を推論する。
• 経路計画とナビゲーションには Fast Marching Method（FMM）を採用し、2D 占有マップにおける未探索で通行可能な領域のサンプリングによって探索を誘導する。
• 言語に依存する「不適切な配置」検出器（BERT-OOP）は、関係ラベルペア（例：'アラームクロックはデスクの上に置かれている' → '不適切な配置'）を用いて微調整され、自然言語による新しい共通認識事前知識を注入する。
• 配置に失敗した場合、TIDEE は収納場所を開ける試みをしたり、候補位置の集合から最も遠い点サンプリングを用いて一般の収納場所を探索する。

Figure 1: Example images of out-of-place objects.

実験結果

リサーチクエスチョン

• RQ1 視覚的・意味的共通認識事前知識は、新しい未構造的屋内環境におけるロボットの物体配置を改善できるか？
• RQ2 学習された物体-収納場所関係モデル（rGCN）は、未観測の部屋や物体配置にどの程度一般化できるか？
• RQ3 自然言語指示によって、エージェントが「不適切な配置」とされる物体の認識をどの程度動的に変更できるか？
• RQ4 TIDEE の性能は、2021 年および 2022 年のリアレンジメントチャレンジのような標準化されたベンチマークで、既存手法と比較してどの程度か？
• RQ5 3D 意味マッピングと FMM に基づくナビゲーションの統合は、探索とタスク成功にどのような影響を与えるか？

主な発見

• TIDEE は 2021 年リアレンジメントチャレンジで 8.9% FixedStrict および 2.6% Success を達成し、ベースラインの Weihs ら [RoomR]（1.4% FixedStrict、0.3% Success）を著しく上回った。
• ノイズの多いポーズや推定深度を追加すると性能がわずかに低下し、6.6% FixedStrict および 1.4% Success となった。これはセンサのノイズに対して頑健であることを示している。
• 自然言語指示による微調整により、ターゲット関係の「不適切な配置」の信頼度が上昇した：例として 'アラームクロックはデスクの上に置かれている' は 0.10 から 0.70 に上昇し、'新聞はソファーの上に置かれている' は 0.43 から 0.98 に上昇した。
• ビジュアルサーチネットワークは、妥当な物体配置位置で高い確率の予測を生成したが、偶発的な誤検出（例：ベッドが dresser の近くに検出された）が発生した。これは、再現率を重視した訓練によるものと推定される。
• rGCN が推論する収納場所事前知識を用いることで、誤配置された物体の検出と配置能力が著しく向上し、2021 ベンチマークでは誤配置率が 95% まで低下した。
• 意味マッピング、文脈に配慮したナビゲーション、および言語に依存する事前知識による適応的推論を組み合わせることで、TIDEE は新しい部屋への一般化を効果的に実現した。

Figure 2: Example images shown to Amazon Mechanical Turk evaluators.