[論文レビュー] Discriminative Regularization for Generative Models

Alex Lamb, Vincent Dumoulin+1 more|arXiv (Cornell University)|Feb 9, 2016

Neural Networks and Applications参考文献 14被引用数 47

ひとこと要約

本論文では、事前学習済み分類器からの特徴表現をVAEの目的関数に組み込むことで、変分オートエンコーダー（VAE）に対する判別的正則化を提案する。判別的畳み込みニューラルネットワーク（CNN）の隠れ層における再構成誤差を最小化することで、尤度スコアが向上しないまま、よりシャープで意味的に一貫性のある画像、特に顔貌の特徴において、生成サンプルの品質が向上する。

ABSTRACT

We explore the question of whether the representations learned by classifiers can be used to enhance the quality of generative models. Our conjecture is that labels correspond to characteristics of natural data which are most salient to humans: identity in faces, objects in images, and utterances in speech. We propose to take advantage of this by using the representations from discriminative classifiers to augment the objective function corresponding to a generative model. In particular we enhance the objective function of the variational autoencoder, a popular generative model, with a discriminative regularization term. We show that enhancing the objective function in this way leads to samples that are clearer and have higher visual quality than the samples from the standard variational autoencoders.

研究の動機と目的

• 事前学習済み分類器からの判別的表現を活用することで、変分オートエンコーダー（VAE）の生成サンプルの知覚的品質を向上させること。
• 標準VAEが顔のアイデンティティやオブジェクト構造といった高周波数および意味的詳細を捉えきれないという限界を是正すること。
• 判別的情報が生成モデルを正則化し、人間の知覚に合わせたものにできるかどうかを検討すること。
• 分類器の特徴をVAEの目的関数に組み込むことで、尤度スコアが低下しても視覚的忠実度が向上することを示すこと。

提案手法

• 標準VAEの目的関数に、VAEの再構成が事前学習済み分類器の隠れ層活性化と一致するよう促す判別的正則化項を追加する。
• 畳み込みニューラルネットワーク（CNN）を判別的分類器として用い、その中間特徴マップを生成モデルの監視信号とする。
• VAEを、標準的な変分下界と、実データと再構成データの分類器による特徴表現との間のL2距離の両方を最小化するように訓練する。
• 分類器ネットワークを介して逆誤差伝搬を実行し、VAEの生成ネットワークと推論ネットワークを更新することで正則化を適用する。
• ベンチマークデータセット上で生成サンプルの対数尤度を近似するために重要度サンプリングを用いる。
• 再構成、補間、アーティファクトの可視化により、判別的正則化が潜在空間構造とサンプル品質に与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み分類器からの判別的表現は、変分オートエンコーダー（VAE）が生成するサンプルの知覚的品質を向上させることができるか？
• RQ2 判別的モデルからの特徴レベルの監視を組み込むことで、標準VAEと比較して、よりシャープで意味的に一貫性のある再構成が得られるか？
• RQ3 標準VAEが高周波数および意味的詳細を捉えきれない理由は何か？ そして、判別的正則化はこれらの欠陥を是正できるか？
• RQ4 判別的正則化は生成サンプルの尤度にどのような影響を与えるか？ 尤度と知覚的品質の間にはどのようなトレードオフがあるか？
• RQ5 判別的正則化されたサンプルに現れる視覚的アーティファクトの原因は何か？ また、それらは分類器の特徴空間でのぼんやりとした活性化と関連しているか？

主な発見

• 判別的正則化により、顔貌の特徴（目やアイデンティティなど）において、標準VAEよりも顕著にシャープで視覚的に現実的であるサンプルが生成される。
• アイデンティティや眼の形、顔の対称性といった構造的詳細をよりよく保持することで、再構成品質が向上する。
• CelebAデータセットでは、判別的正則化を施したモデルがテストセットでより低い負の対数尤度（NLL）を達成した：正則化なしでは -1.1835、正則化ありでは -1.0866。視覚的品質の向上にもかかわらず尤度が向上した。
• 潜在空間における線形補間により、ポーズ、性別、髪の色の面で滑らかで現実的な変化が得られ、潜在表現が脱結合的かつ意味的に明確であることが示された。
• 視覚的アーティファクト（不自然なテクスチャ）は主に背景に現れ、畳み込みオートエンコーダーを用いたアブレーション実験により、分類器の特徴マップでのぼんやりとした活性化と関連していることが確認された。
• モデルの複雑さを増さずに知覚的品質が向上したため、判別的情報が生成モデルを効果的に正則化できることを示した。