[論文レビュー] Learning Representations by Maximizing Compression

Karol Gregor, Yann LeCun|arXiv (Cornell University)|Aug 4, 2011

Neural Networks and Applications参考文献 8被引用数 9

ひとこと要約

この論文は、学習可能な自己符号化器に類似したアーキテクチャを用いて、順序付きにピクセルを予測することで画像データをモデル化する、圧縮に基づく表現学習アルゴリズムを提案する。ピクセルの順序付き順序付けにおける予測尤度を最大化することで、MNISTおよびUSPSデータセットにおいて最先端の圧縮性能を達成し、RBM やノイズ除去自己符号化器から得られるものと類似した解釈可能なフィルタを学習する。同時に、算術符号化を用いた正確な尤度計算と効率的なサンプリングが可能である。

ABSTRACT

We give an algorithm that learns a representation of data through compression. The algorithm 1) predicts bits sequentially from those previously seen and 2) has a structure and a number of computations similar to an autoencoder. The likelihood under the model can be calculated exactly, and arithmetic coding can be used directly for compression. When training on digits the algorithm learns filters similar to those of restricted boltzman machines and denoising autoencoders. Independent samples can be drawn from the model by a single sweep through the pixels. The algorithm has a good compression performance when compared to other methods that work under random ordering of pixels.

研究の動機と目的

• データ圧縮に根ざした表現学習アルゴリズムの開発を目的とし、複雑な高次元データ分布を、ピクセルの順序付き予測によってモデル化する。
• モデル下でのデータ尤度の正確な計算を可能とし、圧縮に直接算術符号化を適用できるようにする。
• エンド・ツー・エンドの学習により、ランダムなピクセル順序付けに対しても一般化可能な意味のある、分離可能な表現を学習する。
• 圧縮性能と学習された表現の質との相関関係を示し、MNISTおよびUSPSをベンチマークとして用いる。

提案手法

• モデルは、以前に観測されたピクセルから順に各ピクセルを予測する。2パスアーキテクチャ（直接パス R と隠れ層を通る非線形パス UV）を用い、両者を結合してシグモイド関数を通過させ、出力確率を生成する。
• 隠れ層の状態は、現在のピクセル値と学習済み重みのみを用いて段階的に更新され、ピクセルあたり O(nh nx + nx^2) の演算で効率的なオンライン推論が可能である。
• モデルは、観測されたピクセル値の対数尤度を最大化することで学習され、バイナリクロスエントロピー損失を用いる： L = -Σ[xi log(yi) + (1-xi) log(1-yi)]。
• このアーキテクチャは正確な尤度推定を可能とし、予測確率を用いて一回のピクセル走査でモデルからのサンプリングが可能である。
• 過学習を防ぐために、L2重み減衰と早期停止を用いた正則化が施され、特に隠れユニット数を増加させる場合に有効である。
• ピクセル分布を単純な1次元分布（例：ガウス分布）の混合としてモデル化することで、実数値データへの拡張が可能である。

実験結果

リサーチクエスチョン

• RQ1 ピクセルを順次予測することでデータを圧縮するモデルは、意味のある、分離可能な表現を学習できるか？
• RQ2 RBM やノイズ除去自己符号化器といった既存の生成モデルと比較して、この圧縮ベースの学習手法は、圧縮性能および表現品質の両面で優れているか？
• RQ3 モデルが正確な尤度を計算できることで、近似推論を必要とせずに効果的な圧縮とサンプリングが可能になるか？
• RQ4 この手法はランダムなピクセル順序にどの程度頑健であり、DjVu などの文脈に依存するシステムよりも優れているか？

主な発見

• 200個の隠れユニットを用いて、USPSデータセットで1画像あたり84.5ビット、MNISTデータセットで94.8ビットの圧縮性能を達成し、RBM やヘリングを含むベースライン手法を上回った。
• 1000個の隠れユニットと正則化を用いることで、MNISTデータセットで1画像あたり81.0ビットの圧縮性能を達成し、ランダムなピクセル順序付け下でも優れた性能を示した。
• 学習されたフィルタはストロークやエッジ検出器に類似しており、解釈可能で、RBM やノイズ除去自己符号化器が学習する特徴と類似している。
• 正確な尤度計算が可能であり、算術符号化を直接適用でき、符号化されたビットストリームはモデルの対数尤度と等しくなった。
• モデルからのサンプリングは、1回の順方向プロパゲーションで妥当な数字の画像を生成でき、以前に生成された値に基づく確率的予測を用いて各ピクセルをステップバイステップで生成する。
• ピクセル分布を単純な1次元分布（例：ガウス分布）の混合としてモデル化することで、実数値データへの一般化がうまくいった。