[論文レビュー] Auto-encoders: reconstruction versus compression

Yann Ollivier|arXiv (Cornell University)|Mar 30, 2014

Generative Adversarial Networks and Image Synthesis参考文献 17被引用数 17

ひとこと要約

この論文は、再構築誤差の最小化と最小記述長（MDL）によるデータ圧縮との間の理論的関係を確立する。最小化されるコード長（最適圧縮に相当）には、情報理論的正則化項を再構築誤差に追加する必要があり、これは特徴量から出力へのノイズ除去基準に対応し、ノイズ除去オートエンコーダの最適でデータ依存のノイズレベルを決定する。

ABSTRACT

We discuss the similarities and differences between training an auto-encoder to minimize the reconstruction error, and training the same auto-encoder to compress the data via a generative model. Minimizing a codelength for the data using an auto-encoder is equivalent to minimizing the reconstruction error plus some correcting terms which have an interpretation as either a denoising or contractive property of the decoding function. These terms are related but not identical to those used in denoising or contractive auto-encoders [Vincent et al. 2010, Rifai et al. 2011]. In particular, the codelength viewpoint fully determines an optimal noise level for the denoising criterion.

研究の動機と目的

• オートエンコーダにおける再構築誤差の最小化と、MDL原理に基づくデータコード長の最小化との関係を調査すること。
• 標準的なオートエンコーダ学習がコード長を暗黙的に最小化しているかどうかを確認し、もしそうでなければ必要な修正を同定すること。
• 再構築誤差と情報理論的正則化項を組み合わせた、コード長の変分上界を導出すること。
• コード長フレームワークをノイズ除去およびコントトラクティブオートエンコーダと結びつけ、MDLが最適なハイパーパrameter（例：ノイズレベル）をどのように決定するかを示すこと。
• 出力分散を学習可能なパラメータとして取り入れることで、圧縮境界がどのように向上し、相対誤差最小化と整合するかを検討すること。

提案手法

• 最小記述長（MDL）原理を用いて、オートエンコーディングをデータ圧縮として定式化し、データのコード長を最小化することを目的とする。
• 変分バウンディングを適用して、再構築誤差と追加の正則化項に依存するコード長の上界を導出する。
• 連続的特徴空間に対して有効なタイトなコード長バウンディング（命題2）を導出する。これはエンコーダとデコーダが確率的に逆関数である場合に真のコード長に近づく。
• 特徴量から出力へのノイズ除去基準を導入し、再構築関数の逆ヘッセ行列に基づいて最適なノイズレベルを導出する。
• コントトラクティブオートエンコーダをMDLの視点から再解釈し、コード長最小化が出力の特徴量からの微分が大きい場合にペナルティを課すことを示し、ヤコビアンの行ノルムに基づくペナルティ項を提示する。
• 出力分散をパラメータとして取り入れることで圧縮境界を向上させ、二乗誤差の対数と量子化ノイズを含む再構築目的関数を提示する。

実験結果

リサーチクエスチョン

• RQ1 オートエンコーダにおける再構築誤差の最小化は、MDL原理に基づくデータコード長の最小化に対応するか？
• RQ2 再構築誤差の学習をコード長最小化に等しくするには、どのような追加の正則化項が必要か？
• RQ3 MDLフレームワークは、ノイズ除去オートエンコーダの最適でデータ依存のノイズレベルを決定できるか？また、固定ノイズレベルとはどのように異なるか？
• RQ4 コード長最小化基準はコントトラクティブオートエンコーダとどのように関係するか？ヤコビアンへのペナルティ構造はいかなるものか？
• RQ5 出力分散を学習可能なパラメータとしてモデル化することで、コード長バウンディングと再構築誤差にどのような影響が生じるか？

主な発見

• 再構築誤差の最小化だけではコード長を最小化できない。最適圧縮を達成するには、追加の情報理論的正則化項が必要である。
• コード長バウンディングには、特徴量から出力へのノイズ除去ペナルティが含まれており、これは先行研究で用いられる入力から特徴量へのノイズ除去とは異なる。
• ノイズ除去の最適ノイズレベルは、再構築関数の逆ヘッセ行列に基づいて決定され、各データサンプルに対して異なる値に設定すべきである。
• コード長フレームワークは、出力の特徴量からの微分が大きい場合にペナルティを課すが、これは標準的なコントトラクティブオートエンコーダで用いられるフロベニウスノルムとは異なる。
• 出力分散をパラメータとして取り入れることで、二乗誤差の対数を最小化する再構築目的関数が得られ、相対誤差最小化と整合し、圧縮境界が向上する。
• 変分コード長バウンディングは、エンコーダとデコーダが確率的に逆関数である場合にタイトになり、オートエンコーダの圧縮に向けた訓練のための原理的根拠を提供する。