[論文レビュー] Rate-Distortion Auto-Encoders

Luis G. Sánchez Giraldo, José C. Prı́ncipe|arXiv (Cornell University)|Dec 28, 2013

Neural Networks and Applications参考文献 5被引用数 8

ひとこと要約

本稿では、再構成忠実度制約の下で入力と表現間の相互情報量を最小化するレート・ディストーションオートエンコーダを提案する。非パラメトリックなエントロピー推定法を用い、無限可除行列に基づくもので、パラメトリックな密度推定を回避する。この手法により、重みの縛りやスパarsityを明示的に課さない状況でも、オーバークリティカルなオートエンコーダが implicitly regularized され、分離可能で構造的な表現が学習可能となる。実験ではガウス混合分布およびMNISTの手書き数字で有効性を示した。

ABSTRACT

A rekindled the interest in auto-encoder algorithms has been spurred by recent work on deep learning. Current efforts have been directed towards effective training of auto-encoder architectures with a large number of coding units. Here, we propose a learning algorithm for auto-encoders based on a rate-distortion objective that minimizes the mutual information between the inputs and the outputs of the auto-encoder subject to a fidelity constraint. The goal is to learn a representation that is minimally committed to the input data, but that is rich enough to reconstruct the inputs up to certain level of distortion. Minimizing the mutual information acts as a regularization term whereas the fidelity constraint can be understood as a risk functional in the conventional statistical learning setting. The proposed algorithm uses a recently introduced measure of entropy based on infinitely divisible matrices that avoids the plug in estimation of densities. Experiments using over-complete bases show that the rate-distortion auto-encoders can learn a regularized input-output mapping in an implicit manner.

研究の動機と目的

• オートエンコーダの学習目的関数を、圧縮（低相互情報量）と再構成忠実度のバランスを取る形で開発すること。
• 重み減衰やスパarsityといった明示的正則化に依存せずに、オーバークリティカルなオートエンコーダにおける過学習を緩和すること。
• 密度推定を回避するため、無限可除行列に基づく新しいエントロピー推定法を用いたスケーラブルな訓練アルゴリズムを提供すること。
• レート・ディストーション目的関数が、合成的および現実世界のデータにおいて意味のある、分離可能な表現を導くことを実証すること。
• 情報理論的目的関数とオートエンコーダ学習におけるパラメータ更新の構造との関係を調査すること。

提案手法

• レート・ディストーション理論にインspiredされ、再構成誤差の期待値がD以下である制約E[D(X, X̂)] ≤ Dのもとで、相互情報量I(X;Z)の最小化としてオートエンコーダの学習目的関数を定式化する。
• パラメトリックな密度推定を回避するため、無限可除行列に基づく非パラメトリックなエントロピー推定法を採用し、勾配ベース最適化を可能にする。
• バンド幅パラメータσxを用いたカーネルベースのエントロピー項の近似により、経験的分布を平滑化する。
• エントロピー推定に用いるグラム行列の条件数を改善するために、クラスタリングに基づいてミニバッチを順序付けた確率的勾配降下法を適用する。
• 重みを縛らないフィードフォワードニューラルネットワークとしてエンコーダおよびデコーダを訓練し、柔軟で非線形な写像を可能にする。
• 2つの項（再構成誤差と相互情報量）の相対的重みを制御するハイパーパrameterμを用いて、両者のトレードオフを最適化する。

実験結果

リサーチクエスチョン

• RQ1 レート・ディストーション目的関数は、オーバークリティカルなオートエンコーダに対する原理的正則化機構として機能するか？
• RQ2 入力と潜在表現間の相互情報量を最小化することは、学習された特徴の品質および構造にどのように影響を与えるか？
• RQ3 無限可除行列に基づく提案されたエントロピー推定法は、密度推定を回避して効果的な訓練を可能にするか？
• RQ4 重みの縛りやスパarsityといった明示的制約が存在しない状況でも、レート・ディストーション目的関数は分離可能または意味のある表現を導くか？
• RQ5 歪みのトレードオフパラメータμの変化に伴い、学習された表現の構造（例：ボディ、スティック、完全な数字）はどのように変化するか？

主な発見

• 2次元成分を有するガウス混合分布に対しては、20個の隠れユニットを用い、明示的なボトルネックを設けない状況でも、レート・ディストーションオートエンコーダは主曲線に沿った表現を学習した。
• データ密度が高い領域に明確な谷（ravines）を持つ、良好に定義されたエネルギー分布が得られ、再構成の堅牢性と構造的整合性を示した。
• MNISTでは、スパarsity制約や事前定義されたノイズモデルがなくても、局所的でペンストロークに類似した特徴が学習され、歪み許容度が上昇するにつれて、ボディから完全な数字へと特徴が進化した。
• クラスタリングに基づくミニバッチの使用により、グラム行列の条件数が改善され、エントロピー推定および学習の安定性が向上した。
• 重みの縛りや明示的正則化が存在しない状況でも、自明な解に陥ることなく、相互情報量最小化が有効な正則化として機能することが示された。
• トレードオフパラメータμは誘導的バイアスを制御していた：μが小さいほど、より圧縮され、構造的な表現が得られ、μが大きいと、より豊かで詳細な再構成が可能になった。