[論文レビュー] Unsupervised Discovery of 3D Physical Objects from Video

Yilun Du, Kevin A. Smith+3 more|arXiv (Cornell University)|Jul 24, 2020

3D Shape Modeling and Analysis参考文献 45被引用数 11

ひとこと要約

POD-Net は、アノテーションなしで動画から物体をセグメンテーションする自己教師あり 3D 物体発見モデルであり、動きと物理的整合性を活用している。マルチスケールの視覚的手がかりと物理ベースのダイナミクスを組み合わせることで、優れた 3D 物体セグメンテーションを実現し、物理的妥当性に関する推論を可能にし、合成データおよび実世界データの両方で先行する非教師あり手法を上回る性能を発揮する。

ABSTRACT

We study the problem of unsupervised physical object discovery. While existing frameworks aim to decompose scenes into 2D segments based off each object's appearance, we explore how physics, especially object interactions, facilitates disentangling of 3D geometry and position of objects from video, in an unsupervised manner. Drawing inspiration from developmental psychology, our Physical Object Discovery Network (POD-Net) uses both multi-scale pixel cues and physical motion cues to accurately segment observable and partially occluded objects of varying sizes, and infer properties of those objects. Our model reliably segments objects on both synthetic and real scenes. The discovered object properties can also be used to reason about physical events.

研究の動機と目的

• 多様なシーンに一般化可能な、動画から 3D 物理的物体を発見する非教師あり手法の開発。
• 動きと物理的制約を活用することで、遮蔽や小サイズの物体といった困難な状況下での物体セグメンテーションの向上。
• 動的シーンにおける不自然な出来事の検出などの下流の物理的推論タスクを支援するシーン表現の学習。
• 発達心理学における物体認識の知見と機械学習モデルの物体発見の間のギャップを埋めること。

提案手法

• POD-Net は、マルチスケールの局所パッチにわたるシーン分解を因子化する視覚的生成モデルを用い、物体ベースの表現を推論する。
• 物理的整合性を強制するダイナミクスモデルを統合し、物体が滑らかにかつ持続的に移動することを保証する。
• 発見された物体状態に基づく将来の状態予測を促進する自己教師あり目的を通じて、視覚的およびダイナミクス的コンポーネントをリンクする。
• 物体の持続性と滑らかな運動を、物理的に不適切な遷移をペナルティ化する微分可能な物理ベースの損失関数によって強制する。
• アテンションメカニズムを用いて局所パッチの予測を集約し、グローバルで一貫性のある物体マスクを生成することでセグメンテーションを実現する。
• 人為的アノテーションによる物体マスクや 3D の監督信号を一切用いずに、動画データ上でエンドツーエンドにモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 外観のみの手がかりと比較して、動きと物理的整合性は、非教師あり 3D 物体発見の性能を向上させるか？
• RQ2 自己教師ありモデルは、マルチスケールの視覚的および物理的手がかりを活用することで、部分的遮蔽や小サイズの物体を正しくセグメンテーションできるか？
• RQ3 発見された 3D 物体表現は、動的シーンにおける物理的妥当性の推論を支援できるか？
• RQ4 物体恒常性と滑らかな運動を組み込むことで、セグメンテーションの正確性および一般化性能にどのような影響を与えるか？

主な発見

• Block タスクにおいて、POD-Net は物理的違反を検出する相対的精度 0.622 を達成し、GAN (0.44) や LSTM (0.44) といった非教師ありベースラインを上回った。
• Overturn (Long) タスクでは、POD-Net が 0.77 の相対的精度を達成し、Smith ら (2019) のベースラインモデルを上回り、最良の非教師ありモデルと同等の性能を示した。
• マルチスケール特徴と物理的整合性を併用することで、遮蔽下でも塔に含まれるすべてのブロックを正しくセグメンテーションできたが、物体を漏れたり融合させたりするモデルとは対照的であった。
• マルチスケールと物理的制約を備えた POD-Net は個々のブロックを正しく分離できるが、単一スケールまたは非物理的バージョンでは細粒度の物体境界を正しく解明できなかった。
• 正常な運動時には低 surprisal を生成するが、空間的連続性や物体恒常性の違反を認識することで、テレポートなどの異常なシフトを検出できた。
• POD-Net は、自己教師あり学習に物理的事前知識を統合することで、セグメンテーション品質と下流の推論性能の両方を向上させることを示した。