[論文レビュー] Bias and Generalization in Deep Generative Models: An Empirical Study

Shengjia Zhao, Hongyu Ren+4 more|arXiv (Cornell University)|Nov 8, 2018

Generative Adversarial Networks and Image Synthesis被引用数 53

ひとこと要約

この論文は、低次元の特徴を探査し、GANs と VAEs を横断する単一および多特徴の一般化パターンを検証することで、深層生成モデルにおけるバイアスと一般化を経験的に研究する認知心理学に着想を得たフレームワークを導入する。

ABSTRACT

In high dimensional settings, density estimation algorithms rely crucially on their inductive bias. Despite recent empirical success, the inductive bias of deep generative models is not well understood. In this paper we propose a framework to systematically investigate bias and generalization in deep generative models of images. Inspired by experimental methods from cognitive psychology, we probe each learning algorithm with carefully designed training datasets to characterize when and how existing models generate novel attributes and their combinations. We identify similarities to human psychology and verify that these patterns are consistent across commonly used models and architectures.

研究の動機と目的

• 高次元の画像空間における深層生成モデルの誘導バイアスと一般化挙動を特徴づける。
• 低次元で解釈可能な特徴を介してモデルを探る認知心理学に着想を得たフレームワークを開発する。
• GANsとVAEs、データセット（例：CLEVR、MNIST）、ハイパーパラメータ間で観察される一般化パターンの一貫性を評価する。

提案手法

• 解釈可能な低次元特徴空間（例：numerosity、色、サイズ、位置）へ高次元の画像空間を射影する。
• 制御されたデータセットでGANsとVAEsを訓練し、誘導された特徴分布 p(z) と学習された分布 q(z) を測定する。
• 単一特徴探索を用いてインパルス応答と畳み込み様の一般化パターンを研究する。
• z のサポート上での精度-再現率を用いて多特徴一般化を検討し、記憶と新規組み合わせ生成の比較を評価する。
• 他の特徴を変化させて z-generalization の安定性を観察することにより、特徴の独立性を評価する。
• モデルタイプとアーキテクチャを横断して一般化挙動を可視化・比較する。

実験結果

リサーチクエスチョン

• RQ1 特徴の単一値で訓練した場合、深層生成モデルは一般化するか（インパルス応答）？
• RQ2 多モードの訓練データは、モデルが memorization と novel feature combinations の生成傾向にどのように影響するか？
• RQ3 単一特徴の一般化パターン（例：畳み込み、プロトタイプ強化）はGANsとVAEs、データセット間で成り立つか？
• RQ4 特徴の一般化は独立しており、ある特徴の分析を他の特徴とは別に行えるか？
• RQ5 複数特徴にわたり新規組み合わせを生成しつつ、周辺分布をどう保持するか？

主な発見

• 生成モデルは訓練データの特徴値を正確に再現せず、しばしば訓練値の近くで偏った分布を示し、過少・過大の傾向を持つ。
• 特徴に対して訓練データに複数のモードがある場合、モデルの挙動はモード間の距離が小さい場合を除きインパルス応答の畳み込みのような線形フィルタに似る。
• 色の割合について、学習された分布は訓練値を中心とした概ねガウス分布で、極端な割合では分散が鋭くなる、Weberの法則と一致。
• 複数の特徴がある場合、モデルは小さな訓練セットを memorization するが、組み合わせ数が増えるにつれて新規組み合わせを生成する一方で、個々の特徴の周辺分布は保持される。
• Recall は高い（q(z) に全訓練組み合わせが現れる）が、組み合わせ数が増えると precision は低下し、新規組み合わせの生成を示唆。
• 特徴間の独立性が観察される。別の特徴を変更しても、特定の特徴の学習分布を大きく変えないが、より高い分散はモードの統合を促進する可能性がある。