[論文レビュー] Information Potential Auto-Encoders

Yan Zhang, Mete Özay+2 more|arXiv (Cornell University)|Jun 14, 2017

Neural Networks and Applications参考文献 10被引用数 7

ひとこと要約

この論文は、潜在表現のエントロピーをパrametricな形を仮定せずに推定することで、相互情報量を用いて正則化する非パラメトリック手法、情報ポテンシャル自己符号化器（IPAEs）を提案する。変分自己符号化器（VAEs）とは異なり、ガウス事前分布を仮定せず、変分推論を用いないIPAEsは、潜在空間における対比較距離を最小化することで圧縮を促進し、混合ガウス分布のような複雑な分布の表現学習をより良くする。

ABSTRACT

In this paper, we suggest a framework to make use of mutual information as a regularization criterion to train Auto-Encoders (AEs). In the proposed framework, AEs are regularized by minimization of the mutual information between input and encoding variables of AEs during the training phase. In order to estimate the entropy of the encoding variables and the mutual information, we propose a non-parametric method. We also give an information theoretic view of Variational AEs (VAEs), which suggests that VAEs can be considered as parametric methods that estimate entropy. Experimental results show that the proposed non-parametric models have more degree of freedom in terms of representation learning of features drawn from complex distributions such as Mixture of Gaussians, compared to methods which estimate entropy using parametric approaches, such as Variational AEs.

研究の動機と目的

• 自明な恒等写像を避けるために、相互情報量を正則化基準として用いる自己符号化器のフレームワークを開発すること。
• 潜在変数のエントロピーをパラメトリックな仮定（例：ガウス事前分布）を避けて非パラメトリックに推定すること。
• 変分自己符号化器（VAEs）を、相互情報量最小化のパラメトリック近似として、情報理論的解釈を提示すること。
• 非パラメトリックなエントロピー推定が、複雑なデータ分布の学習における表現の柔軟性を高められることを示すこと。
• IPAEsが、混合ガウス分布やMNISTのデジットなどのベンチマークデータセットにおいて、VAEsを上回る表現品質と分類精度を達成できることを示すこと。

提案手法

• 潜在変数 $ H(\mathbf{z}) $ のエントロピーを、$ p(\mathbf{z}) $ のパラメトリックな形に関する仮定を避けて非パラメトリックに推定する手法を提案する。
• 潜在表現の異なる入力ペア間の距離の和として、相互情報量 $ I(\mathbf{x}; \mathbf{z}) $ のペアワイズ距離に基づく近似を用いる。
• 自己符号化器にこれを適用し、学習中に相互情報量を最小化することで、圧縮と分離性を促進する。
• 相互情報量の最小化が、潜在空間における異なるデータポイント間の反発力の低減に対応することを、情報ポテンシャルの類似性として導入する。
• 確率的符号化のための再パラメトリゼーショントリックを用い、エンコーダーのバックプロパゲーションを可能にする。
• MNISTの実験では、再構成損失としてベルヌーイ分布の負対数尤度に基づく歪み関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックな潜在エントロピー推定は、VAEsのようなパラメトリック手法と比較して、自己符号化器における表現学習を改善できるか？
• RQ2 潜在空間におけるペアワイズ距離に基づく相互情報量最小化は、表現品質と一般化性能にどのように影響するか？
• RQ3 変分自己符号化器（VAEs）の情報理論的解釈は何か？また、提案手法の非パラメトリックアプローチとはどのように異なるか？
• RQ4 提案手法は、混合ガウス分布やMNISTのデジットなどの複雑なデータ分布において、より優れた性能を達成できるか？
• RQ5 $ \beta $ や $ N_j $（近隣ペア数）といったハイパーパramータは、圧縮と判別的表現のトレードオフにどのように影響するか？

主な発見

• IPAEsはMNISTデジットでテスト分類誤差 $ \mathbf{0.70 \pm 0.15} $ を達成し、$ \beta = 0.001 $ のVAEs（$ 0.82 \pm 0.14 $）を上回った。
• $ \beta = 0.00001 $ の場合、$ N_j = 8 $ のIPAEsが最良の性能を示したが、$ \beta \leq 0.0001 $ のVAEsは $ \sigma^2(\mathbf{z}) $ が大きいため学習に失敗した。
• IPAEsにおける $ N_j $ の増加は、クラス内コンパクト性を向上させつつ、クラス間分離性を損なわず、低誤差率を維持した。
• 大きな $ \beta $ 値を用いたVAEsは、過剰圧縮により誤差が増加し、異なるクラスが同じ潜在点に収縮した。
• 提案手法により、混合ガウス分布のような複雑な分布の表現学習が、$ p(\mathbf{z}) $ のモデル化における柔軟性の向上により、より良くなることが示された。
• 情報ポテンシャルの類似性により、VAEsは実質的にすべてのデータを1点（例：$ \mathbf{0} $）にマップしているのに対し、IPAEsは対比較距離をより段階的に低減し、構造を保存していることが明らかになった。