[論文レビュー] SIMONe: View-Invariant, Temporally-Abstracted Object Representations via Unsupervised Video Decomposition

Rishabh Kabra, Daniel Zoran+6 more|arXiv (Cornell University)|Jun 7, 2021

Generative Adversarial Networks and Image Synthesis被引用数 14

ひとこと要約

SIMONeは、トランスフォーマーに基づくアテンションメカニズムを用いて、視点不変のオブジェクト表現と時間的に変化する視点およびグローバルシーン要因を分離する非教師あり変分動的モデルを提案する。視点不変で時間的に要約されたオブジェクト特徴を達成し、教師データや3次元の仮定なしに、新しいシーンの構成と視点合成を可能にする。

ABSTRACT

To help agents reason about scenes in terms of their building blocks, we wish to extract the compositional structure of any given scene (in particular, the configuration and characteristics of objects comprising the scene). This problem is especially difficult when scene structure needs to be inferred while also estimating the agent's location/viewpoint, as the two variables jointly give rise to the agent's observations. We present an unsupervised variational approach to this problem. Leveraging the shared structure that exists across different scenes, our model learns to infer two sets of latent representations from RGB video input alone: a set of "object" latents, corresponding to the time-invariant, object-level contents of the scene, as well as a set of "frame" latents, corresponding to global time-varying elements such as viewpoint. This factorization of latents allows our model, SIMONe, to represent object attributes in an allocentric manner which does not depend on viewpoint. Moreover, it allows us to disentangle object dynamics and summarize their trajectories as time-abstracted, view-invariant, per-object properties. We demonstrate these capabilities, as well as the model's performance in terms of view synthesis and instance segmentation, across three procedurally generated video datasets.

研究の動機と目的

• 教師なしで、構成的かつオブジェクト中心のシーン表現を、構造のないRGB動画から学習すること。
• 静的オブジェクト属性（例：形状、色）を、動的視点およびグローバルシーンの変化から分離すること。
• カメラの動きに依存しない形で、時間的に要約され、視点に依存しない方法でオブジェクト軌跡を要約すること。
• 異なるシーンからのオブジェクト潜在変数と、新しい視点からのフレーム潜在変数を組み合わせることで、シーン編集と新しい視点の合成を可能にすること。
• 明示的な3次元幾何、動的モデル、または特別なレンダラを用いずに、動画データと構造的潜在変数のみでこれを達成すること。

提案手法

• オブジェクトレベルの潜在変数（時間不変）とフレームレベルの潜在変数（時間変動）を分離する構造的潜在空間を有する変分オートエンコーダを採用する。
• 空間的および時間的依存関係を同時にモデル化するため、空間時間的アテンションを備えたトランスフォーマー型エンコーダを用いる。
• 画素レベルの再構成にガウス混合モデルを活用し、分離されたオブジェクトマスクと外観予測を可能にする。
• オブジェクトとフレーム潜在変数の容量バランスを最適化し、分離性を向上させるために、別々のハイパーパrameter（βo, βf）を用いたKL正則化を適用する。
• 1つのシーンからのオブジェクト潜在変数と、別のシーンからのフレーム潜在変数を組み合わせることで、一貫性のある新しい視点を生成するシーン合成を可能にする。
• 再構成損失とKL発散を用いたエンドツーエンドの学習により、分離性と生成的忠実性の両方を最適化する。

実験結果

リサーチクエスチョン

• RQ1 非教師ありモデルは、RGB動画のみから視点不変で時間的に要約されたオブジェクト表現を学習できるか？
• RQ2 教師なしで、オブジェクト潜在変数を視点およびグローバルシーンの動的要因からどの程度分離できるか？
• RQ3 異なるシーンからのオブジェクト潜在変数と新しいフレーム潜在変数を組み合わせることで、モデルは新しいシーン構成に一般化できるか？
• RQ4 動画入力のみで、異なる視点からのシーンの新規視点合成はどの程度正確に可能か？
• RQ5 地上真値のポーズ情報や動的モデルが存在しない状況でも、カメラの動きとは独立してオブジェクトの軌跡を推定・分離できるか？

主な発見

• SIMONeは、3つの手続き的生成動画データセットにおいて、非教師あり視点合成およびシーン表現学習で最先端の性能を達成した。
• モデルはカメラの姿勢や照明の変化からオブジェクト属性（例：形状、色、位置）を効果的に分離し、視点間で一貫したオブジェクト追跡を可能にした。
• フレーム潜在変数は、オブジェクトコンテンツを変化させずにカメラの位置や姿勢を変化させるトレースによって、意味的な視点関連変化を捉えていることが示された。
• 異なるシーンからのオブジェクト潜在変数を組み合わせることで、K=16未満のオブジェクトでも、正しいオブジェクト配置とセグメンテーションを持つ妥当な新しいシーンを生成できた。
• 微調整なしに、新しい視点やシーン編集に一般化でき、モデルの頑健性と構成的一般化能力を示した。
• 定量的比較では、SIMONe-VSはGQNおよびNeRF-VAEを上回り、対数尤度と再構成品質において優れたスコアを達成した。また、フレーム潜在変数からカメラポーズを予測する際の決定係数（R²）も高く、精度が保証された。