[論文レビュー] Counterfactual Generative Networks

Axel Sauer, Andreas Geiger|arXiv (Cornell University)|Jan 15, 2021

Generative Adversarial Networks and Image Synthesis参考文献 51被引用数 29

ひとこと要約

この論文は Counterfactual Generative Networks (CGNs) を提案し、画像生成を形状、質感、背景の独立したメカニズムに分離することで、反事実画像生成とアウトオブドメインの堅牢性を向上させる不変分類器を可能にし、MNIST の派生と ImageNet で実証する。

ABSTRACT

Neural networks are prone to learning shortcuts -- they often model simple correlations, ignoring more complex ones that potentially generalize better. Prior works on image classification show that instead of learning a connection to object shape, deep classifiers tend to exploit spurious correlations with low-level texture or the background for solving the classification task. In this work, we take a step towards more robust and interpretable classifiers that explicitly expose the task's causal structure. Building on current advances in deep generative modeling, we propose to decompose the image generation process into independent causal mechanisms that we train without direct supervision. By exploiting appropriate inductive biases, these mechanisms disentangle object shape, object texture, and background; hence, they allow for generating counterfactual images. We demonstrate the ability of our model to generate such images on MNIST and ImageNet. Further, we show that the counterfactual images can improve out-of-distribution robustness with a marginal drop in performance on the original classification task, despite being synthetic. Lastly, our generative model can be trained efficiently on a single GPU, exploiting common pre-trained models as inductive biases.

研究の動機と目的

• 頑健で因果情報を取り入れた画像分類を促進し、偽りの相関依存に頼らないこと。
• 画像生成を独立したメカニズムに分解して、形状、質感、背景を制御する。
• 未見の要因の組み合わせで反事実画像を生成し、不変な分類器を訓練する。
• MNIST の派生と ImageNet でアプローチを実証し、タスク性能の低下を最小限に保ちながら OOD の堅牢性を改善する。
• 生成モデルからオブジェクトマスクや教師なし補完といったエマージェント特性が現れることを示す。

提案手法

• 形状、質感、背景の独立したメカニズムを持つ構造的因果モデル（IMs）として画像合成をモデリングする。
• マスク、質感、背景から画像を形成する固定の組成ステップ（alpha ブレンディング）を使用する。
• L_shape（マスク忠実度）、L_text（質感）、L_bg（サリエンシを用いた背景のインペインティング）、L_rec（条件付き GAN からの擬 ground-truth への再構成）を含む損失で IMs を訓練する。
• ImageNet のような大規模データセット向けに BigGAN などの事前訓練済みバックボーンで画像生成器を初期化し、専用の帰納バイアスでファイントゥーンドする。
• ラベルをメカニズム間でランダム化しつつノイズを固定して反事実を生成し、X_CF を作成して不変分類器を訓練する。
• 不変分類器 r を反事実データ上で訓練し、特定の一つのメカニズムに関連するラベルを予測させ、他のメカニズムには不変とする。

実験結果

リサーチクエスチョン

• RQ1 形状、質感、背景を制御する独立したメカニズムを学習して、高品質な反事実画像を生成できるか。
• RQ2 反事実画像は偽の相関に対して不変な分類器の訓練を改善し、結果としてアウトオブドメインデータに対してより堅牢になるか。
• RQ3 崩壊を回避し、因子を解離するために必要な帰納的バイアス（事前学習、メカニズム特化の損失）は何か。
• RQ4 CGN は MNIST の派生から ImageNet へ、意味のある反事実と堅牢な分類器を生成する点でどれくらいスケールするか。

主な発見

• CGNs は MNIST の派生と ImageNet にわたって、形状、質感、背景を制御可能な高品質の反事実画像を生成できる。
• オブジェクトの形状、質感、背景を分離することで、偽の相関に対してより堅牢な不変分類器の訓練を可能にする。
• 反事実訓練は MNIST の派生での性能低下を最小限に抑えつつ、OOD の堅牢性を向上させ、ImageNet では大規模データでの性能低下を抑えつつ効果を発揮する。
• 崩壊を防ぎ、解離を達成するには、大規模生成器での事前訓練やメカニズム特化の損失といった帰納バイアスが不可欠である。
• このモデルは、 imposed supervision とアーキテクチャを通じて、高品質なオブジェクトマスクや教師なしのインペインティングといった有用なエマージェント特性を生み出す。