[論文レビュー] Multi-Object Representation Learning with Iterative Variational Inference

Klaus Greff, Raphaël Lopez Kaufman+7 more|arXiv (Cornell University)|Mar 1, 2019

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 176

ひとこと要約

IODINE は反復的な変分推論による教師なしのマルチオブジェクト場景分解を学習し、オブジェクト対応表現、インペイント、およびより多くのオブジェクトや未見の特徴組み合わせへ一般化を可能にする。

ABSTRACT

Human perception is structured around objects which form the basis for our higher-level cognition and impressive systematic generalization abilities. Yet most work on representation learning focuses on feature learning without even considering multiple objects, or treats segmentation as an (often supervised) preprocessing step. Instead, we argue for the importance of learning to segment and represent objects jointly. We demonstrate that, starting from the simple assumption that a scene is composed of multiple entities, it is possible to learn to segment images into interpretable objects with disentangled representations. Our method learns -- without supervision -- to inpaint occluded parts, and extrapolates to scenes with more objects and to unseen objects with novel feature combinations. We also show that, due to the use of iterative variational inference, our system is able to learn multi-modal posteriors for ambiguous inputs and extends naturally to sequences.

研究の動機と目的

• 複数のオブジェクトを前処理段階としてではなく、共同でセグメントし表現する表現学習を動機づける。
• シーンを独立したオブジェクトスロットとして表し、共有デコードを用いた多スロットの空間混合モデルを提案する。
• 監視なしでオブジェクトレベルの潜在変数とセグメンテーションを推定する反復的アモータイズド推論手順を開発する。
• 教師なしのセグメンテーション、遮蔽部のインペイント、トレーニング分布外のオブジェクト数や特徴組み合わせへの一般化を実証する。

提案手法

• 各シーンをK個の潜在オブジェクトベクトル z_k で表現し、それらが空間的ガウス混合モデルと各スロットのマスク m_k によって画像を共同生成する。
• 各 z_k をピクセル単位の外観 μ_k とマスクロジットにデコードし、ソフトマックスでスロット間のマスクを正規化して全体の尤度 p(x|z) を形成する。
• ELBO の勾配を含む微分情報を含む勾配を含む混同行列の更新などを用いて、反復的な推論ネットワーク f_φ によって後方パラメータ λ_k をT回の反復で更新する。
• 安定した学習のために、T回のリファインメントステップを展開してELBO項の加重和を最小化する、エンドツーエンドの訓練を行う。
• ブロードキャストデコーダを組み込み、位置と他の特徴の因果的分離を促し、 interchangeable なオブジェクトのスロット対称性を強制する。

実験結果

リサーチクエスチョン

• RQ1 マルチスロットの教師なしモデルは、解釈可能なオブジェクトへシーンを分割し、それらの特徴を分離して表現できるか。
• RQ2 反復的変分推論は、遮蔽、マルチモーダル性、置換不変なオブジェクト表現を完全にデータ駆動で扱えるか。
• RQ3 トレーニング分布を超えたより多くのオブジェクトや unseen object-feature の組み合わせを持つシーンへ、モデルはどの程度一般化できるか。
• RQ4 空間ブロードキャストデコーダなどのアーキテクチャ選択と入力信号がセグメンテーション品質と分離性に与える影響は何か。
• RQ5 学習したオブジェクト表現は、線形写像によるオブジェクト属性予測といった下流タスクをサポートできるか。

主な発見

モデル	CLEVR6 ARI	M-dSprites ARI	M-dSprites bin ARI	Shapes ARI	Tetris ARI
IODINE	0.988±0.000	0.767±0.056	0.648±0.172	0.910±0.119	0.992±0.004
R-NEM	*	*	0.685±0.017	0.776±0.019	*
MONet	0.962±0.006	0.904±0.008	*	*	*

• IODINE は CLEVR6 (ARI ~0.99) および Tetris でほぼ完璧なインスタンスセグメンテーションを達成し、Multi-dSprites では強いセグメンテーションを示す (ARI ~0.77)。
• MONet は CLEVR6 で ARI ~0.96、Multi-dSprites で ~0.90 のAR Iを、特定の設定下で達成し、競争力のあるベースラインを提供する。
• オブジェクトの潜在表現は、オブジェクトごとの潜在変数から地上真の因子（色、位置、形、サイズ）を線形に予測可能であることを可能にする。
• 分離はオブジェクトを別々のスロットで表現した場合に改善され、従来のVAEsは複数オブジェクトにわたって因子を絡み合わせる。
• モデルは訓練で見たより多いスロットや、オブジェクトが増えたシーンへ一般化し、多くのケースでセグメンテーション品質を維持する。
• 反復リファインメントは、スロット間の相互作用とサンプリングに起因して、多峰性の事後分布を自発的に生み出し、曖昧性下での多重安定なセグメンテーションを可能にする。