[論文レビュー] Learning About Objects by Learning to Interact with Them

Martin Lohmann, Jordi Salvador+2 more|arXiv (Cornell University)|Jun 16, 2020

Advanced Image and Video Retrieval Techniques参考文献 65被引用数 4

ひとこと要約

本論文では、視覚フィードバック（押す・操作する行動からのフィードバック）を用いて、物理エンジンが搭載された仮想環境（AI2thor）内での相互作用を通じて、物体の発見とその幾何的広がり・相対的質量の推定を行う自己教師ありエージェントを提案する。モデルは外部の教師信号なしに、新しい物体カテゴリーやインスタンスに対して強いゼロショット一般化を達成し、一部の自己教師あり設定では完全教師ありベースラインを上回る性能を示す。

ABSTRACT

Much of the remarkable progress in computer vision has been focused around fully supervised learning mechanisms relying on highly curated datasets for a variety of tasks. In contrast, humans often learn about their world with little to no external supervision. Taking inspiration from infants learning from their environment through play and interaction, we present a computational framework to discover objects and learn their physical properties along this paradigm of Learning from Interaction. Our agent, when placed within the near photo-realistic and physics-enabled AI2-THOR environment, interacts with its world and learns about objects, their geometric extents and relative masses, without any external guidance. Our experiments reveal that this agent learns efficiently and effectively; not just for objects it has interacted with before, but also for novel instances from seen categories as well as novel object categories.

研究の動機と目的

• 乳児の学習を模倣し、環境との相互作用を通じて物体発見と物理的属性学習の自己教師ありフレームワークを開発すること。
• アノテーションなしのデータを用い、相互作用からの視覚フィードバックのみで物体の幾何的広がりと相対的質量を学習できるエージェントを実現すること。
• トレーニング中に見られなかった新しい物体カテゴリーやインスタンスへの一般化性能を評価すること。
• 相互作用からの自己教師信号が、ノイズの多い信号にもかかわらず、完全教師あり手法を上回るか同等の性能を発揮するかどうかを調査すること。

提案手法

• エージェントは、AI2thor環境内で、相互作用ポイントを選択し、力を加えることで物体と相互作用する。力の大きさと方向を予測するためのCNNベースのポリシー・ネットワークを用いる。
• 相互作用からの視覚フィードバックを用いて、自己教師あり損失を計算する：相互作用ポイントの予測、力の推定、一貫して動く点群を潜在的な物体としてクラスタリングする。
• トレーニングの安定化とサンプル効率の向上を目的として、優先順位付きサンプリングを用いたメモリバンクを導入。これは優先順位付きリプレイと自己-paced学習にインspiredされている。
• マスクの監督を向上させるための視覚的事前知識として、スーパーピクセル処理を用い、一貫して動く点群を単一の物体としてクラスタリングするための対照的損失を適用する。
• 教師なしの境界ボックスや質量ラベルが一切ない状態で、相互作用からの生の観測シーケンスをエンドツーエンドに学習する。
• 物理エンジンを活用して、質量、摩擦、弾性などのリアルな物体ダイナミクスをシミュレートし、意味のある相互作用フィードバックを可能にする。

実験結果

リサーチクエスチョン

• RQ1 外部の教師信号なしに、相互作用のみで物体の発見と質量・広がりなどの物理的属性を学習できるか？
• RQ2 学習時に見られなかった物体カテゴリーやインスタンスへの一般化性能はどの程度か？
• RQ3 ノイズの多い視覚フィードバックからの自己教師学習が、この設定で完全教師あり手法を上回るか、同等の性能を発揮するか？
• RQ4 優先順位付きサンプリングを用いたメモリバンクは、トレーニングの安定化と効率向上にどのような役割を果たすか？
• RQ5 運動と変位からの視覚フィードバックは、一貫した物体部分のクラスタリングにどの程度効果的か？

主な発見

• 本モデルは、新しい物体カテゴリーやインスタンスに対して、物体検出と質量予測の平均クラスごとの正確度が50.79%、APが11.85%を達成し、無教師ベースラインを顕著に上回る。
• 相互作用からの視覚フィードバックを用いた自己教師ありアプローチは、オプティカルフロー法やPCAベースの手法よりも優れた性能を示し、後者では物体の発見がうまくいかなかった。
• モデルは強いゼロショット一般化を示す：学習時に見られなかったカテゴリ内の新しいインスタンスに対しても、また、完全に新しい物体カテゴリーやインスタンスに対しても良好な性能を発揮する。
• 驚くべきことに、真値マスクを用いた完全教師あり学習（たとえより大きなResNet-18バックボーンを用いても）は、自己教師あり手法を上回らず、ノイズがより予測可能な相互作用対象に学習を集中させる助けになっている可能性を示唆している。
• アブレーションスタディの結果、スーパーピクセルによる視覚的事前知識と、優先順位付きサンプリングを用いたメモリバンクの両方が性能に不可欠であることが確認され、それらを除去すると正確度が著しく低下する。
• 定性的な結果から、モデルはごちゃついたシーンにおいて複数の物体を検出でき、軽い・中程度の・重い物体を合理的に区別できるが、非常に小さな物体や非常に大きな物体では運動信号が弱いため、検出に苦労することがある。