[論文レビュー] Better Mixing via Deep Representations

Yoshua Bengio, Grégoire Mesnil+2 more|arXiv (Cornell University)|Jul 18, 2012

Generative Adversarial Networks and Image Synthesis参考文献 32被引用数 207

ひとこと要約

本稿では、より深いニューラル表現が、潜在的変動要因をよりよく分離することで、マーカフ連鎖モンテカルロ（MCMC）の混合を改善し、高密度な多様体の均一なカバーを実現することを提案している。実験の結果、より高い層でのサンプリングは、より速い混合、より優れたサンプル品質、および改善された生成性能をもたらすことが示され、分離された表現を通じて、効率的な混合と強力な識別能力の両立が達成される。

ABSTRACT

It has previously been hypothesized, and supported with some experimental evidence, that deeper representations, when well trained, tend to do a better job at disentangling the underlying factors of variation. We study the following related conjecture: better representations, in the sense of better disentangling, can be exploited to produce faster-mixing Markov chains. Consequently, mixing would be more efficient at higher levels of representation. To better understand why and how this is happening, we propose a secondary conjecture: the higher-level samples fill more uniformly the space they occupy and the high-density manifolds tend to unfold when represented at higher levels. The paper discusses these hypotheses and tests them experimentally through visualization and measurements of mixing and interpolating between samples.

研究の動機と目的

• 生成モデルにおけるより深い表現が、高速な混合を示すマーカフ連鎖をもたらすかどうかを調査すること。
• 深い表現における潜在的変動要因のより良い分離が、混合効率の向上に寄与するという仮説を検証すること。
• 高レベルの表現が高品質なサンプルの体積を拡大する一方で、識別性能を維持または向上させるかどうかを検討すること。
• より良い混合と強力な分類性能の両立を実現するための戦略を提示し、近いクラスの多様体が識別性を低下させるという直観に反する点を解消すること。

提案手法

• 著者らは、MNISTおよびTFDデータセット上で、深層オートエンコーダ（CAE）と深層信念ネットワーク（DBN）を訓練し、階層的表現を学習した。
• 混合性能は、異なる表現レベルでの複数のMCMCサンプリングステップにおいて、訪問された異なるクラスの数を測定することで評価した。
• 生成されたサンプルに対してParzen窓法を用いた対数尤度推定により、サンプル品質を評価した。
• 多様体構造の分析には、例との間を補間し、表現に等方的ノイズを追加する手法を用い、尤度とカバー範囲を測定した。
• 線形SVMとファインチューニングされたMLPを用いて、連結表現または高層表現における識別性能を評価した。
• 局所的凸包と球体の可視化により、表現の深さがデータ多様体の幾何構造に与える影響を調査した。

実験結果

リサーチクエスチョン

• RQ1 より深い表現からのサンプリングは、低層表現に比べてMCMC連鎖の混合が速くなるか？
• RQ2 より深い表現が、特にクラス要因を含む潜在的変動要因をどの程度分離するか？
• RQ3 より深い層での高品質サンプル体積の増加が、より良い識別性能と矛盾するか？ もし矛盾する場合、その是正はどのように達成されるか？
• RQ4 データ多様体の幾何構造、特に展開と拡張が、表現レベルに応じてどのように変化するか？
• RQ5 高層でのより良い混合性能は、勾配推定にMCMCを用いる深層生成モデルの学習効率向上に活用可能か？

主な発見

• CAEおよびDBNモデルのより深い層からのサンプリングでは、混合が著しく高速化され、100サンプル分の低層からのサンプリングよりも20サンプルでより多くのクラスを訪問した。
• 生成サンプルの対数尤度は、より深い層で顕著に向上した：DBN-2では1908.80 ± 65.94、DBN-1では604 ± 14.67を記録した。
• 高層での例との補間により、尤度の高いサンプルが得られ、多様体カバーの向上と滑らかな遷移が示された。
• より深い表現に等方的ノイズを追加したところ、より現実的なサンプルが得られ、高密度領域がよりよく展開され、均一にカバーされていることが確認された。
• 混合性能と体積拡大が向上したにもかかわらず、深層表現は識別性能を維持または向上させ、CAE-2特徴量を用いたファインチューニングMLPではMNISTで0.81%の誤差率を達成した。
• これらの結果は、より深い層でのクラス要因のより良い分離が、優れた生成サンプリングと強力な分類能力の両立を実現するという仮説を支持している。