[論文レビュー] Learning Object-Centric Representations of Multi-Object Scenes from Multiple Views

Nanbo Li, Cian Eastwood+1 more|arXiv (Cornell University)|Nov 13, 2021

Domain Adaptation and Few-Shot Learning被引用数 19

ひとこと要約

MulMONは、反復的アモルタイズド推論と視点予測を用いて空間的曖昧性を解消することで、複数の視点から反復的に潜在的オブジェクト特徴を精錬する非教師あり手法を提案する。これにより、オブジェクト中心の表現の正確性が向上し、新しい視点からの外観およびセグメンテーション予測という新たな機能を実現。単一視点ベースラインを上回る性能を達成する。

ABSTRACT

Learning object-centric representations of multi-object scenes is a promising approach towards machine intelligence, facilitating high-level reasoning and control from visual sensory data. However, current approaches for unsupervised object-centric scene representation are incapable of aggregating information from multiple observations of a scene. As a result, these "single-view" methods form their representations of a 3D scene based only on a single 2D observation (view). Naturally, this leads to several inaccuracies, with these methods falling victim to single-view spatial ambiguities. To address this, we propose The Multi-View and Multi-Object Network (MulMON) -- a method for learning accurate, object-centric representations of multi-object scenes by leveraging multiple views. In order to sidestep the main technical difficulty of the multi-object-multi-view scenario -- maintaining object correspondences across views -- MulMON iteratively updates the latent object representations for a scene over multiple views. To ensure that these iterative updates do indeed aggregate spatial information to form a complete 3D scene understanding, MulMON is asked to predict the appearance of the scene from novel viewpoints during training. Through experiments, we show that MulMON better-resolves spatial ambiguities than single-view methods -- learning more accurate and disentangled object representations -- and also achieves new functionality in predicting object segmentations for novel viewpoints.

研究の動機と目的

• 遮蔽や部分的視点による空間的曖昧性の影響を受ける単一視点非教師ありオブジェクト中心手法の限界を解消すること。
• 静的な複数オブジェクトシーンの複数2次元視点からの情報を統合することで、正確で分離された3次元シーン理解を実現すること。
• 明示的なマッチングを用いずに、オブジェクトの対応関係を維持することで、マルチオブジェクトマルチビュー（MOMV）問題を解決すること。
• 未観測の視点からの外観およびオブジェクトセグメンテーション予測という、新たな機能を導入すること。
• 反復的更新が空間情報を集約するのではなく上書きしないようにするため、新視点予測を訓練信号として用いること。

提案手法

• MulMONは空間的混合モデルと反復的アモルタイズド推論を用い、複数の視点における潜在的オブジェクト表現を精錬する。
• 視点間で「アウターロープ」の反復を実行し、前回の反復の事後分布を事前分布として用いて、オブジェクト表現の事後分布を更新する。
• 各視点内で、アテンションベースのスロットアテンションと変分推論を用いて、潜在特徴を精錬する「インナーロープ」の反復を実施する。
• モデルは、未観測視点の予測の再構成損失と、不確実性低減を促進する情報量増加項を含む変分下界（ELBO）に基づいて訓練される。
• オブジェクトの対応関係は、反復的精錬と視点間で共有されるスロットアテンションメカニズムの使用により、暗黙的に維持される。
• モデルは微分可能なレンダラを活用し、現在の潜在表現に基づいて、照合視点からの観測とセグメンテーションを予測する。

実験結果

リサーチクエスチョン

• RQ1 複数の視点における反復的精錬により、単一視点の空間的曖昧性を解消することで、オブジェクト中心表現の正確性が向上するか？
• RQ2 マルチオブジェクトマルチビュー（MOMV）モデルは、単一視点ベースラインと比較して、オブジェクト特性および3次元構造のより良い分離性を達成できるか？
• RQ3 モデルは、未観測の視点からの外観およびオブジェクトセグメンテーションの予測に一般化できるか？
• RQ4 視点数（T）がマルチオブジェクト設定における不確実性低減と表現品質に与える影響は何か？
• RQ5 提案手法は、オブジェクト間およびオブジェクト内での分離性を達成し、制御されたシーン操作を可能にするか？

主な発見

• MulMONは複数の視点を活用することで空間的不確実性を顕著に低減し、わずか数回の観測後には不確実性が急速に低下することが、不確実性対T曲線で示された。
• CLE-MVおよびCLE-Augデータセットにおいて、EastwoodとWilliamsの評価プロトコルに基づく測定結果から、MulMONはIODINEやGQNよりもより分離性が高く、コンパクトで情報量の多いオブジェクト表現を学習した。
• MulMONは3次元シーン構造（たとえば、縦軸回転）を的確に捉えており、操作の際、異なる視点間で一貫してこの情報を伝達している。
• モデルは、未観測の視点からの照合セグメンテーションを可能にするという、初めての実現可能なマルチオブジェクトマルチビュー問題の解決策を達成した。
• アブレーションスタディの結果、視点数（T）が最も重要なハイパーパrameterであることが確認され、わずかな観測数でも性能が急速に向上した。
• MulMONはオブジェクト間およびオブジェクト内での分離性を示しており、他のオブジェクトに影響を与えずに、単一オブジェクトや単一属性の操作が可能である。