[論文レビュー] Unsupervised Video Decomposition using Spatio-temporal Iterative Inference

Polina Zablotskaia, Edoardo Alberto Dominici+2 more|arXiv (Cornell University)|Jun 25, 2020

Generative Adversarial Networks and Image Synthesis参考文献 45被引用数 7

ひとこと要約

本稿では、2次元LSTM、時間的に条件づけられた推論、およびアモアタイズド事後分布の最適化を用いて、複数オブジェクトの表現と時間的依存関係を統合的にモデル化することで、教師なし動画分解を可能にする新規な時空間反復推論フレームワーク、ST-IODINEを提案する。Bouncing Balls や CLEVRER といったベンチマークで、色の手がかりがなくても、オブジェクトダイナミクスのモデリングの向上とエントロピー正則化項のおかげで、セグメンテーション、再構成、軌道予測の分野で最先端の性能を達成している。

ABSTRACT

Unsupervised multi-object scene decomposition is a fast-emerging problem in representation learning. Despite significant progress in static scenes, such models are unable to leverage important dynamic cues present in video. We propose a novel spatio-temporal iterative inference framework that is powerful enough to jointly model complex multi-object representations and explicit temporal dependencies between latent variables across frames. This is achieved by leveraging 2D-LSTM, temporally conditioned inference and generation within the iterative amortized inference for posterior refinement. Our method improves the overall quality of decompositions, encodes information about the objects' dynamics, and can be used to predict trajectories of each object separately. Additionally, we show that our model has a high accuracy even without color information. We demonstrate the decomposition, segmentation, and prediction capabilities of our model and show that it outperforms the state-of-the-art on several benchmark datasets, one of which was curated for this work and will be made publicly available.

研究の動機と目的

• 従来の教師なし動画分解モデルがフレームを独立して処理し、オブジェクト間の時間的依存関係をモデル化できないという限界を解決すること。
• 教師なしで、分解可能でピクセル単位の表現とオブジェクトダイナミクスを、生動画から同時に学習できること。
• オブジェクト数が変動するシーンや、色が少ないもしくはグレースケールの状況においても一般化性を高めること。
• 時間的条件づけと条件付き事前分布を用いた変分推論により、軌道予測の正確性と推論の安定性を向上させること。
• 2次元LSTMを用いた時空間推論機構が、複雑で非線形なオブジェクト運動を効果的にモデル化できることを示すこと。

提案手法

• モデルはIODINEを拡張し、2次元LSTMを用いてフレーム間の時空間的依存関係を符号化することで、時間的にわたる潜在変数の共同推論を可能にする。
• 条件付き事前分布と生成を用いた時間的に条件づけられた変分推論を採用し、フレーム間で事後分布推定を改善する。
• 効率的な三角格子構造を用いることで、潜在スロット表現における空間的精度を維持しながら計算コストを低減する。
• 外見的手がかりが不足する低コントラストやグレースケールの状況での分解能の向上を図るため、新規なエントロピー正則化項を導入する。
• VAEに類似したアーキテクチャ内でアモアタイズド反復推論を用い、再構成、セグメンテーション、ダイナミクスモデリングを同時に最適化する。
• モデルは動画シーケンスをエンドツーエンドで学習し、オブジェクトがシーンに出現または消失する際、潜在スロットを動的に割り当てるように学習する。

実験結果

リサーチクエスチョン

• RQ1 時空間反復推論フレームワークを用いることで、オブジェクト表現間の時間的依存関係をモデル化することで、教師なし動画分解の性能が向上するか？
• RQ2 2次元LSTMと条件付き事前分布を組み込むことで、複数オブジェクトを含む動画シーンにおけるセグメンテーションおよび再構成の質にどのような影響を与えるか？
• RQ3 本モデルは、オブジェクト数が動的に変化するシーンや色情報が欠如する状況において、どの程度一般化できるか？
• RQ4 エントロピー正則化項の導入により、低コントラスト環境下での分解能と性能が向上するか？
• RQ5 R-NEM や IODINE と比較して、本モデルのオブジェクト軌道予測能力はどの程度優れているか？

主な発見

• 2値（グレースケール）データの Bouncing Balls データセットにおいて、本モデルはARI 0.4453、F-ARI 0.9999を達成し、R-NEM（ARI: 0.4484、F-ARI: 0.6377）および IODINE（F-ARI: 0.9969）を大きく上回った。
• 8種類の異なる色を持つ Bouncing Balls の色バージョンでは、本モデルはMSE 0.0114、F-ARI 0.9900を達成し、IODINE（MSE: 0.0281、F-ARI: 0.7197）および R-NEM を上回った。
• CLEVRERベンチマークでは、本モデルはARI 0.2839、MSE 0.0004を達成し、IODINE（ARI: 0.2205、MSE: 0.0006）および SEQ-IODINE（ARI: 0.1482、MSE: 0.0012）を上回った。
• アブレーションスタディの結果、エントロピー正則化項、条件付き事前分布および生成、40フレームのシーケンスを備えた完全なモデルが最高の性能（ARI: 0.7263、F-ARI: 0.9999、MSE: 0.0004）を達成した。
• 本モデルは一般化性に優れており、スロット数を5から9に増やしても、6〜8個のオブジェクトを含むシーケンスで高い性能を維持した。
• 予測結果では、短いシーケンスではR-NEMを上回り、CLEVRERでは時間経過に伴い誤差が減少し、低誤差率を維持した。