[論文レビュー] What Regularized Auto-Encoders Learn from the Data Generating Distribution

Guillaume Alain, Yoshua Bengio|arXiv (Cornell University)|Nov 18, 2012

Generative Adversarial Networks and Image Synthesis参考文献 24被引用数 101

ひとこと要約

この論文は、特にノイズ除去およびコントトラクティブな変種を含む正則化オートエンコーダーが、正則化された再構成誤差を最小化することで、データ生成分布のスコア関数（対数密度の勾配）を学習することを示している。主な貢献は、明示的なエネルギー関数を必要とせずに、局所的な密度構造——特にスコアおよびヘッセ行列——を暗黙的に推定する訓練基準が、どのように機能するかを示したことである。これにより、推定された分布からの近似MCMCサンプリングが可能になる。

ABSTRACT

What do auto-encoders learn about the underlying data generating distribution? Recent work suggests that some auto-encoder variants do a good job of capturing the local manifold structure of data. This paper clarifies some of these previous observations by showing that minimizing a particular form of regularized reconstruction error yields a reconstruction function that locally characterizes the shape of the data generating density. We show that the auto-encoder captures the score (derivative of the log-density with respect to the input). It contradicts previous interpretations of reconstruction error as an energy function. Unlike previous results, the theorems provided here are completely generic and do not depend on the parametrization of the auto-encoder: they show what the auto-encoder would tend to if given enough capacity and examples. These results are for a contractive training criterion we show to be similar to the denoising auto-encoder training criterion with small corruption noise, but with contraction applied on the whole reconstruction function rather than just encoder. Similarly to score matching, one can consider the proposed training criterion as a convenient alternative to maximum likelihood because it does not involve a partition function. Finally, we show how an approximate Metropolis-Hastings MCMC can be setup to recover samples from the estimated distribution, and this is confirmed in sampling experiments.

研究の動機と目的

• 正則化オートエンコーダーが、背後にあるデータ生成分布について、どのような情報を学習するかを明確化すること。
• コントラクティブおよびノイズ除去オートエンコーダーの訓練基準と、スコアやヘッセ行列といった局所的密度特性の推定との間の理論的関連を確立すること。
• 正則化された再構成誤差の最小化が、パーティション関数の計算を避けるためにも最大尤度の代替手段として機能できることを示すこと。
• 推定されたスコアを用いて、学習されたモデルからの近似メトロポリス・ハスティングスMCMCを構築できることを実証すること。

提案手法

• 論文は、エンコーダーだけでなく再構成関数全体に正則化を適用するコントラクティブな訓練基準を分析し、これが微小なガウスノイズを用いたノイズ除去オートエンコーダー訓練と同等であることを示している。
• また、この基準を最小化することで、データ生成密度のスコア（対数密度の微分）およびヘッセ行列の推定に成功することを証明している。
• オートエンコーダーのパrametrizationに依存せず、十分な容量とデータ量がある条件下で、漸近的解析を用いて真のスコア関数への収束を示している。
• エネルギー差分を予測されたスコアを用いて推定する近似メトロポリス・ハスティングスMCMCアルゴリズムを定式化し、学習された分布からのサンプリングを可能にしている。
• パーティション関数の明示的計算を避けるアプローチであり、スコアマッチングと同様の性質を持ち、解析的エネルギー関数が存在しない場合にも適用可能である。
• 人工データセットを用いた実験により、MCMCで生成されたサンプルが2次元プロットにおいて訓練データ分布に非常に近いことが確認されている。

実験結果

リサーチクエスチョン

• RQ1 正則化オートエンコーダーは、データ生成分布のどの特定の側面を学習するのか？
• RQ2 正則化された再構成誤差の最小化が、対数密度のスコアおよびヘッセ行列の推定とどのように関係するのか？
• RQ3 オートエンコーダーの再構成関数は、エネルギー関数ではなく、局所的な平均および密度勾配の推定として解釈できるのか？
• RQ4 推定されたスコアを用いて、学習されたモデルからの近似MCMCサンプリングが可能なのか？
• RQ5 訓練効率および分布推定の観点から、最大尤度およびスコアマッチングと比較して、このアプローチはどのように異なるのか？

主な発見

• 正則化された再構成誤差の最小化により、再構成関数はデータ生成分布のスコア（対数密度の1階微分）を推定するようになる。
• この手法はヘッセ行列（対数密度の2階微分）の推定も可能であり、密度の局所的曲率を捉えることができる。
• 訓練基準は、微小なガウスノイズを用いたノイズ除去オートエンコーダー訓練と同等であるが、再構成関数全体に収縮（コントラクション）を適用する点が特徴である。
• 推定されたスコアを用いることで、近似メトロポリス・ハスティングスMCMCサンプリングが可能となり、実験では真のデータ分布に近いサンプルが成功裏に回復された。
• 十分な容量と訓練データが確保されていれば、オートエンコーダーのパラメータ化に依存せず、一般に成り立つ。
• パーティション関数の計算を避けることができることから、暗黙的密度推定における最大尤度の代替手段として実用的である。