[論文レビュー] Generative Interventions for Causal Learning

Chengzhi Mao, Augustine Cha+4 more|arXiv (Cornell University)|Dec 22, 2020

Generative Adversarial Networks and Image Synthesis参考文献 46被引用数 4

ひとこと要約

本論文は、事前学習済み生成モデル（例：BigGAN）を用いて、背景、視点、文脈などの余分な相関を除去することで、視覚的特徴に対して因果的介入を行う生成的手法を提案する。ノイズ変数の制御された操作を伴う画像生成により、分布外データに対してより一般化しやすい堅牢な分類器を訓練する。ObjectNetでは最先端の性能（トップ1正解率39.3%）を達成し、ImageNet-Cでは先行手法を最大12%上回る性能を示した。

ABSTRACT

We introduce a framework for learning robust visual representations that generalize to new viewpoints, backgrounds, and scene contexts. Discriminative models often learn naturally occurring spurious correlations, which cause them to fail on images outside of the training distribution. In this paper, we show that we can steer generative models to manufacture interventions on features caused by confounding factors. Experiments, visualizations, and theoretical results show this method learns robust representations more consistent with the underlying causal relationships. Our approach improves performance on multiple datasets demanding out-of-distribution generalization, and we demonstrate state-of-the-art performance generalizing from ImageNet to ObjectNet dataset.

研究の動機と目的

• 背景や視点などの混同要因に起因する余分な相関により、判別モデルが分布外一般化に失敗する問題に対処すること。
• 乱数化された介入が実現不可能な自然画像において、因果的表現学習を可能にする手法を開発すること。
• 生成モデルに対する介入をシミュレートすることで、余分な相関を除去し、モデルの堅牢性を向上させること。
• 明示的な潜在コードが不要な状態で、生成画像から得た介入効果を実際の自然画像に転送すること。

提案手法

• BigGANなどの事前学習済み生成モデルを活用し、背景や視点といったノイズ変数に対して制御された介入を実行する。
• 生成モデルの分離済み潜在空間を用いて、特定の介入方向に画像生成を誘導し、反事実的変更をシミュレートする。
• 神経的スタイル変換を用いて、生成画像に及ぼされた介入効果（例：背景の白黒化）を実際の自然画像に転送する。
• VGGベースの特徴マッチング損失を用い、コンテンツを保持しつつ、介入済み生成画像からのスタイルを転送する。
• 介入を因果的処理として扱い、理論的裏付けにより、余分な相関の低減によって因果効果の境界をより厳密にすることを示す。
• 介入済みデータ上で下流の分類器を訓練し、混同的文脈ではなく因果的特徴に注目するよう促進する。

実験結果

リサーチクエスチョン

• RQ1 乱数化実験が不可能な自然画像における視覚的特徴に対して、生成モデルを用いて因果的介入をシミュレートできるか？
• RQ2 真の因果構造へのアクセスがなくても、余分な相関を除去する介入をどのように生成できるか？
• RQ3 標準的なデータ拡張と比較して、生成的介入は分布外一般化にどの程度向上効果をもたらすか？
• RQ4 明示的な潜在コードが不要な状態で、生成画像から得た介入効果を実際の自然画像に転送できるか？
• RQ5 注意可視化による検証により、得られたモデルが余分な文脈ではなく因果的特徴に注目しているか？

主な発見

• 本手法は、ResNet152を用いてObjectNetデータセットで39.3%のトップ1正解率を達成し、公表済みベンチマーク比で9%の向上を示した。
• ImageNet-Cベンチマークでは、既存のベースラインを最大12%上回る性能を示し、分布シフトに対する強い耐性を示した。
• 可視化結果から、本手法のモデルは、背景の余分な文脈に依存するベースラインとは異なり、注目対象のオブジェクトに注目していることがわかった。
• 理論的分析により、P(x|z)の増加によって、生成的介入手法が因果効果の境界をより厳密にしていることが裏付けられた。
• 神経的スタイル変換による転送により、潜在コードが入手不可な自然画像に対しても、余分な相関が効果的に除去された。
• 介入はカテゴリをまたいで一般化可能であり、背景の白黒化や視点の変更といった介入が、複数のオブジェクトクラスにわたって転送可能であることがわかった。