[論文レビュー] A theory of independent mechanisms for extrapolation in generative models

Michel Besserve, Rémy Sun+2 more|arXiv (Cornell University)|Apr 1, 2020

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本稿では、因果構造が観測されていなくても、独立性の原則（IM）を活用して、深層生成モデルにおける外挿を向上させる理論的枠組みを提案する。グループ不変最適化を用いて層間におけるスペクトル的独立性を強制することで、訓練データ分布を超えた一般化が向上し、実験ではVAEおよびGANにおいて歪みが低減され、干渉の局在化が向上した。

ABSTRACT

Generative models can be trained to emulate complex empirical data, but are they useful to make predictions in the context of previously unobserved environments? An intuitive idea to promote such extrapolation capabilities is to have the architecture of such model reflect a causal graph of the true data generating process, such that one can intervene on each node independently of the others. However, the nodes of this graph are usually unobserved, leading to overparameterization and lack of identifiability of the causal structure. We develop a theoretical framework to address this challenging situation by defining a weaker form of identifiability, based on the principle of independence of mechanisms. We demonstrate on toy examples that classical stochastic gradient descent can hinder the model's extrapolation capabilities, suggesting independence of mechanisms should be enforced explicitly during training. Experiments on deep generative models trained on real world data support these insights and illustrate how the extrapolation capabilities of such models can be leveraged.

研究の動機と目的

• 因果構造が観測されておらず特定不能な状況下でも、深層生成モデルにおける外挿の課題に対処すること。
• 観測された因果変数に依存しない、独立性のメカニズム（IM）に基づくより弱い同定可能性の形式を、教師なし設定で開発すること。
• 標準的な確率的勾配降下法（SGD）の訓練が、メカニズム間の干渉によって外挿能力を損なうことがあることを示すこと。
• 一般性（特にスペクトル的独立性）を層間に強制する手法を提案し、頑健で因果的な一般化を促進すること。
• 実世界のデータを用いたVAEおよびGANにおいて、本フレームワークを実証的に検証し、制御された干渉によって外挿性能が向上することを示すこと。

提案手法

• 群 \mathcal{G} に関する一般性（\mathcal{G}-genericity）の概念を導入し、群 \mathcal{G} の下でのモデルパラメータへの干渉が構造的不変性を保ち、外挿を可能にするようにする。
• 畳み込みフィルタと活性化マップの間の統計的独立性の尺度として、スペクトル的依存比（SDR）を定義する。
• SDR を複数のスケール（画像、中間層、細分化層）で最小化するように訓練目的を定式化し、メカニズムの独立性を強制する。
• VAEの目的関数に対する標準的なSGD更新と、SDRの最小化を交互に実行することで、生成性能とメカニズムの独立性のバランスをとる。
• 群不変性の原則を用いて、観測された因果変数に依存せずに、非パrametricな方法でIMを定量化する。
• VAEのデコーダ（生成器）とエンコーダを比較し、生成器におけるIMが逆メカニズムにおいても成立するとは限らないことを見積もる。

実験結果

リサーチクエスチョン

• RQ1 観測された因果変数が存在しない教師なしの深層生成モデルにおいて、独立性のメカニズムに基づくより弱い同定可能性を確立できるか？
• RQ2 標準的な確率的勾配降下法（SGD）は、モデルの訓練分布を超えた外挿能力にどのように影響するか？
• RQ3 畳み込み生成モデルにおいて、層間のスペクトル的独立性は、独立性のメカニズムの代理としてどの程度有効か？
• RQ4 訓練中にスペクトル的独立性を強制することで、隠れ層における干渉の局在化と頑健性が向上するか？
• RQ5 生成器の一般性はエンコーダのそれと比べてどの程度異なるか？また、これは因果構造の回復にどのような示唆をもたらすか？

主な発見

• 古典的なSGD訓練では、干渉の際、歪みの増加や周期的な干渉パターンが生じ、外挿能力の低下を示している。
• 実験では、SDRの最小化が訓練中に実施されることで、特に細分化層および中間層における平均二乗誤差の増大が抑制された。
• VAEのデコーダはSDRが1に近いモードを示しており、強いスペクトル的独立性と \mathcal{S}-一般性の支持が得られたが、エンコーダは広がりがあり、独立性に乏しい分布を示した。
• 中間層および細分化層における干渉では、SDRを最小化した場合、標準的なVAE訓練に比べて摂動の局在化が向上した。
• 本フレームワークは、スペクトル的制御によるメカニズムの独立性の強制が、データ生成プロセスの変化を模擬するモデルの能力を向上させることを示している。
• 結果は、スペクトル的独立性が畳み込み生成モデルにおけるメカニズムの独立性の有効な代理であることを支持しており、より頑健で解釈可能な外挿を可能にする。