[論文レビュー] Adversarial Fisher Vectors for Unsupervised Representation Learning

Shuangfei Zhai, Walter Talbott+2 more|arXiv (Cornell University)|Oct 29, 2019

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本稿では、生成対抗ネットワーク（GANs）のエネルギー関数モデル（EBM）解釈を活用して、学習済みディスクライマーの密度を表現として抽出する、敵対的フィッシャー・ベクトル（AFVs）を提案する。EBMからフィッシャー・スコアおよびフィッシャー・インフォーメーションを計算することで、分類および知覚的類似性のための有効な特徴抽出が可能となり、CIFAR-10で最先端の性能を達成するとともに、訓練の安定性や過学習の監視に信頼性の高い指標を提供する。

ABSTRACT

We examine Generative Adversarial Networks (GANs) through the lens of deep Energy Based Models (EBMs), with the goal of exploiting the density model that follows from this formulation. In contrast to a traditional view where the discriminator learns a constant function when reaching convergence, here we show that it can provide useful information for downstream tasks, e.g., feature extraction for classification. To be concrete, in the EBM formulation, the discriminator learns an unnormalized density function (i.e., the negative energy term) that characterizes the data manifold. We propose to evaluate both the generator and the discriminator by deriving corresponding Fisher Score and Fisher Information from the EBM. We show that by assuming that the generated examples form an estimate of the learned density, both the Fisher Information and the normalized Fisher Vectors are easy to compute. We also show that we are able to derive a distance metric between examples and between sets of examples. We conduct experiments showing that the GAN-induced Fisher Vectors demonstrate competitive performance as unsupervised feature extractors for classification and perceptual similarity tasks. Code is available at \url{https://github.com/apple/ml-afv}.

研究の動機と目的

• 訓練済みのGANを深層エネルギー関数モデル（EBM）の観点から再解釈し、収束時に定数関数ではなく明示的な密度モデルとしてディスクライマーを活用することを目的とする。
• GANのEBM定式化からフィッシャー・ベクトルおよびフィッシャー距離を導出し、無教師表現学習および類似性推定に用いること。
• 生成器の更新を近似的な確率的勾配MCMCサンプリングと解釈することで、GANの訓練安定性を向上させること。
• 線形分類や知覚的類似性といった下流タスクにおける学習済み表現の有効性を評価し、ラベルなしで競争力のある性能を示すこと。
• 過学習検出を検証データセットの類似性を用いて行う信頼性の高い、解釈可能な指標を提供すること。

提案手法

• GANの訓練を、データ密度を表す未正規化エネルギー関数を学習する深層EBMにおける変分推論として再定式化する。
• EBMのエネルギー関数からフィッシャー・スコアおよびフィッシャー・インフォーメーションを導出し、データサンプルの正規化されたフィッシャー・ベクトル（AFVs）の計算を可能にする。
• フィッシャー・インフォーマッション行列を用いて、個々のサンプルおよびサンプル集合間のフィッシャー距離を定義し、知覚的および構造的類似性を捉える。
• MCMCにインspiredされた生成器更新目的を適用し、生成されたサンプルの局所的更新を強制することで、訓練の安定性と収束性を向上させる。
• 標準の敵対的損失を用いてGANを訓練しつつ、同時にAFVsを計算して特徴抽出およびモデル監視を実行する。
• 検証データバッチと生成データバッチ間のフィッシャー距離を一般化の代理指標として用い、訓練中に過学習を検出する。

実験結果

リサーチクエスチョン

• RQ1 訓練済みのGANにおけるディスクライマーを、定数関数ではなく意味のある密度モデルとして再利用可能か？
• RQ2 GANのEBM定式化から導出されるフィッシャー・ベクトルは、分類および類似性タスクのための有効な無教師表現として機能するか？
• RQ3 検証データセットと生成データセット間のフィッシャー距離を監視することで、訓練の進行状況および過学習の指標として信頼性があるか？
• RQ4 生成器の更新をMCMCサンプリングにインスパイアされたものと解釈することで、訓練の安定性およびモデル品質が向上するか？
• RQ5 AFVsは、標準ベンチマークにおける既存の無教師特徴抽出手法と比較して、性能で優れているか？

主な発見

• AFVsはCIFAR-10の線形分類ベンチマークにおいて、無教師特徴表現の中で最先端の性能を達成した。
• 検証データと生成データの間のフィッシャー距離は、分類精度と強く相関しており、過学習を検出できる。これに対して、Inceptionスコアはこのような傾向を捉えていない。
• 訓練中に検証用フィッシャー類似度を監視することで、特に訓練データが限られた場合にモデルの一般化能力を信頼性高く示す指標が得られる。
• MCMCにインスパイアされた生成器目的を用いることで、生成されたサンプルに対するより小さな、より安定した更新が可能となり、特に初期訓練段階でInceptionスコアが向上した。
• 学習済み密度モデルが誘導する類似性関数は、人間の知覚的類似性判断とよく一致しており、標準的な指標を上回った。
• AFVsは特徴抽出および集合レベルの類似性推定の両方で有効であり、複数の下流タスクにおける実用性を示した。