[論文レビュー] Lost in Latent Space: Disentangled Models and the Challenge of Combinatorial Generalisation

Milton L. Montero, Jeffrey S. Bowers+3 more|arXiv (Cornell University)|Apr 5, 2022

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

この論文は、強固な分離性を示すにもかかわらず、未観測の要因の組み合わせへの組み合わせ一般化に失敗する高分解能生成モデルの原因を調査する。主な原因はエンコーダーの誤一般化に起因しており、これは新しい要因の組み合わせが正しい潜在空間領域にマッピングされないことに起因する。成功は、除外された要因が独立している場合、またはテスト条件がモデルを十分に挑戦しない場合にのみ発生する。

ABSTRACT

Recent research has shown that generative models with highly disentangled representations fail to generalise to unseen combination of generative factor values. These findings contradict earlier research which showed improved performance in out-of-training distribution settings when compared to entangled representations. Additionally, it is not clear if the reported failures are due to (a) encoders failing to map novel combinations to the proper regions of the latent space or (b) novel combinations being mapped correctly but the decoder/downstream process is unable to render the correct output for the unseen combinations. We investigate these alternatives by testing several models on a range of datasets and training settings. We find that (i) when models fail, their encoders also fail to map unseen combinations to correct regions of the latent space and (ii) when models succeed, it is either because the test conditions do not exclude enough examples, or because excluded generative factors determine independent parts of the output image. Based on these results, we argue that to generalise properly, models not only need to capture factors of variation, but also understand how to invert the generative process that was used to generate the data.

研究の動機と目的

• 従来の分離されたモデルが一般化を改善するとされる主張と、最近の組み合わせ一般化タスクにおけるその失敗という矛盾を解消すること。
• 組み合わせ一般化の失敗がエンコーダーの誤り（誤った潜在変数マッピング）に起因するのか、それともデコーダーの誤り（正しい潜在コードからの誤った生成）に起因するのかを特定すること。
• 高い分離性が、生成要因の未観測の組み合わせへの頑健な一般化を保証するのかを評価すること。
• 一般化の成功が本質的な構成的理解に起因するのか、それとも十分に新しい組み合わせを除外しない弱いテスト条件に起因するのかを評価すること。

提案手法

• 制御された訓練およびテスト条件の下で、多様なデータセット（dSprites, 3DShapes, MPI3D, Circles, Simple）において、複数の分離されたモデル（例：VAEs, SBD, β-VAE）を体系的にテストした。
• 潜在変数と生成要因の間の回帰係数を測定することで、Hintonマトリクスを用いて分離性を定量化した。
• 訓練およびテスト例の潜在空間分布を可視化し、ドリフト、分散の増加、または期待される表現と実際のエンコード表現との不一致を検出した。
• モデルの耐性を評価するために、再結合-要素（1つの組み合わせのみが除外される）と再結合-範囲（あるサブセットのすべての組み合わせが除外される）の2種類の一般化条件を定義した。
• 同じアーキテクチャと訓練レジームを用いてモデルを比較することで、分離性およびデータ分布のシフトが与える影響を隔離した。
• 未観測の要因の組み合わせの潜在表現を追跡し、潜在空間内の期待されるターゲット領域と比較することで、エンコーダーおよびデコーダーの挙動を分析した。

実験結果

リサーチクエスチョン

• RQ1 分離されたモデルが組み合わせ一般化に失敗するのは、エンコーダーの誤一般化に起因するのか、それともデコーダーの失敗に起因するのか？
• RQ2 潜在空間における高い分離性が、生成要因の未観測の組み合わせへの一般化を改善することを保証するのか？
• RQ3 どのような条件下でモデルは新しい組み合わせへの一般化に成功するのか。また、どのような構造的または分布的要因がこれを可能にするのか？
• RQ4 過去のモデルが一般化タスクで成功したのは、本質的な構成的推論に起因するのか、それとも十分に新しい組み合わせを除外しない弱いテスト条件に起因するのか？
• RQ5 生成要因の独立性が、モデルが未観測の組み合わせへの一般化能力に与える影響はどの程度か？

主な発見

• 組み合わせ一般化に失敗する際、モデルのエンコーダーも未観測の組み合わせを正しい潜在空間領域にマッピングできていないことが判明し、根本的原因がエンコーダーの誤一般化であることが示された。
• モデルが一般化に成功するのは、除外された生成要因が出力画像の独立した部分に対応している場合に限られ、構造的独立性がより良い一般化を可能にする。
• テスト条件が十分に新しい組み合わせを除外しない場合（例：再結合-要素）、モデルは一時的に成功したように見えるが、これは真の構成的理解を反映しているわけではない。
• 非常に高い分離性を示すモデルでも、dSprites や 3DShapes などの複雑なデータセットでは、未観測の要因の組み合わせに直面した際に顕著な潜在空間ドリフトとテスト表現の分散増加を示した。
• MPI3D や 3DShapes のようなデータセットでは、除外された組み合わせが独立でない場合、高い分離性を持つモデルでも一般化に失敗し、潜在表現は訓練データのクラスタにドリフトする。
• 潜在空間の可視化から、成功した一般化は、訓練データおよびテストデータの両方で明確に分離され、構造的な潜在表現と相関しているのに対し、失敗は重複する、構造のない、またはドリフトする分布によって特徴づけられることが分かった。