[論文レビュー] Counterfactuals uncover the modular structure of deep generative models

Michel Besserve, Arash Mehrjou+2 more|arXiv (Cornell University)|Dec 8, 2018

Generative Adversarial Networks and Image Synthesis参考文献 39被引用数 28

ひとこと要約

この論文は、教師なし条件下で深層生成モデル内のモジュラで分離可能な表現を解明するための反事後干渉フレームワークを提案する。層間の内部隠れユニットを操作することで、特定の画像属性を制御する解釈可能なモジュールを同定し、再訓練や最適化を伴わずにターゲット画像編集と頑健性評価を可能にするとともに、品質劣化を最小限に抑える。

ABSTRACT

Deep generative models can emulate the perceptual properties of complex image datasets, providing a latent representation of the data. However, manipulating such representation to perform meaningful and controllable transformations in the data space remains challenging without some form of supervision. While previous work has focused on exploiting statistical independence to disentangle latent factors, we argue that such requirement is too restrictive and propose instead a non-statistical framework that relies on counterfactual manipulations to uncover a modular structure of the network composed of disentangled groups of internal variables. Experiments with a variety of generative models trained on complex image datasets show the obtained modules can be used to design targeted interventions. This opens the way to applications such as computationally efficient style transfer and the automated assessment of robustness to contextual changes in pattern recognition systems.

研究の動機と目的

• 教師なし条件下で深層生成モデルの潜在表現を解釈・制御する課題に対処すること。
• 統計的独立性に基づく分離手法の限界を克服すること。統計的に依存する要因では、従来の手法は機能しない。
• 介入に基づく分析を通じて、生成ネットワークに内在するモularityを明らかにする因果フレームワークを構築すること。
• 再訓練や最適化を伴わずに、スタイル転送や頑健性評価などのターゲット画像操作を可能にすること。
• 高解像度モデル（ImageNetで学習されたBigGANなど）に適用可能なスケーラブルで教師なしの手法を提供すること。

提案手法

• 訓練済み生成モデルの内部変数に対する反事後干渉を用いて、因果フレームワークにおける分離の定義を行う。
• 他のコンponentsを固定したまま、中間層の特定の隠れユニット（チャネル）を変更することで干渉を適用する。
• 異なるサンプルの特徴を、層間の内部表現を混合することで統合するハイブリダイゼーション手順を用いる。
• FID（Frechet Inception Distance）を用いて画像品質を評価し、反事後編集後の品質劣化を最小限に抑える。
• 分類器の頑健性を、反事後画像生成によるモジュール干渉によって得られた画像の認識精度を測定することで評価する。
• VAE、GAN、BEGAN、BigGANなど多様なアーキテクチャを、CelebA や ImageNet などのデータセットに対して適用する。

実験結果

リサーチクエスチョン

• RQ1 教師ありまたは意味的ラベルなし条件下で、反事後干渉が深層生成モデル内にモジュラで分離可能な表現を明らかにできるか？
• RQ2 内部隠れユニットへの干渉が、生成画像の属性の解釈可能性および制御可能性にどのように影響するか？
• RQ3 反事後によるモジュラ構造の同定が、再訓練を伴わず、高品質なハイブリッド画像（例：オブジェクト・背景の入れ替え）を生成するためにどの程度活用可能か？
• RQ4 生成モデルのモジュラ構造が、文脈的変化下での下流分類器の頑健性とどのように関連しているか？
• RQ5 提案手法は、ImageNetで学習された高解像度で複雑なモデル（例：BigGAN）にもスケーラブルに適用可能か？

主な発見

• CelebA や ImageNet で学習された VAE や GAN において、髪型、顔貌特徴、背景など、それぞれ異なる画像属性を担当する解釈可能なモジュールを効果的に同定できた。
• モジュール干渉による反事後編集により、オリジナルサンプルと比較してFID劣化が最小限に抑えられた高品質なハイブリッド画像（例：コalaの環境にいるテディベア、雄鶏の頭をもつオウム）が生成された。
• 分類器の頑健性分析から、中間層（特にBigGANのブロック5〜6）からの反事後画像生成時に、元のクラスの認識精度が向上することが示された。
• 異なる最先端分類器は反事後変更に対して異なる感受性を示し、非一貫した分類結果から、分類器が異なる画像コンponents（例：オブジェクト vs. 背景）に依存していることが明らかになった。
• このフレームワークは、追加の最適化を伴わず、計算的に効率的なスタイル転送と頑健性評価を可能にし、解釈可能性を超えた実用的価値を示した。
• アーキテクチャやデータセットを越えて一般化でき、BigGAN on ImageNetを含む複雑で高解像度の生成モデルに対してもスケーラブルであることが確認された。