[論文レビュー] Uncertainty Autoencoders: Learning Compressed Representations via Variational Information Maximization

Aditya Grover, Stefano Ermon|arXiv (Cornell University)|Dec 26, 2018

Sparse and Compressive Sensing Techniques参考文献 45被引用数 18

ひとこと要約

本稿では、相互情報量の最大化を通じて、圧縮表現と回復手順を同時に学習する変分推論フレームワークである不確実性オートエンコーダー（UAE）を提案する。相互情報量の扱いやすい変分下界を最適化することにより、MNIST、Omniglot、CelebAなどの高次元データセットにおいて、統計的圧縮センシングで最先端の性能を達成し、ベースライン比で平均32%の向上を示した。

ABSTRACT

Compressed sensing techniques enable efficient acquisition and recovery of sparse, high-dimensional data signals via low-dimensional projections. In this work, we propose Uncertainty Autoencoders, a learning framework for unsupervised representation learning inspired by compressed sensing. We treat the low-dimensional projections as noisy latent representations of an autoencoder and directly learn both the acquisition (i.e., encoding) and amortized recovery (i.e., decoding) procedures. Our learning objective optimizes for a tractable variational lower bound to the mutual information between the datapoints and the latent representations. We show how our framework provides a unified treatment to several lines of research in dimensionality reduction, compressed sensing, and generative modeling. Empirically, we demonstrate a 32% improvement on average over competing approaches for the task of statistical compressed sensing of high-dimensional datasets.

研究の動機と目的

• 圧縮センシングにインspiredされた一貫した教師なし表現学習フレームワークの構築を目的とする。
• 一般的なスパarsity仮定に依存せずに、取得（符号化）と回復（復号化）手順を同時に学習することを目的とする。
• 扱いやすい変分下界を用いて、データと潜在表現間の相互情報量を最適化することを目的とする。
• パラメータ化された復号器を用いてスケーラブルかつアモアタイズドな回復を可能とし、個々のサンプルの最適化を回避することを目的とする。
• PCAと暗黙的生成モデル化との関係を統合的かつ拡張的に扱うことを目的とする。

提案手法

• 低次元測定値をノイズのある潜在表現として扱い、真の事後分布の変分近似としてモデル化する。
• 入力データと潜在コード間の相互情報量の変分下界を最適化することで、勾配ベース最適化によるスケーラブルな学習を可能にする。
• エンコーダーとデコーダーは一貫した目的関数に基づき同時に学習され、従来の方法で用いられる交互に学習する「目覚め-眠り」手順に代わって、エンドツーエンドの確率的最適化が採用される。
• デコーダーはアモアタイズド推論を可能にするようにパラメータ化されており、テスト時に1回の順方向伝搬で高速な再構成が可能となる。
• 潜在変数の事前分布を明示的に必要としないため、VAEとは異なり、暗黙的に生成モデルを定義する。
• 理論的分析により、適切な仮定の下で、非線形デコーダーを用いてもUAEがPCAを一般化することが示された。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドで微分可能な方法で、圧縮センシングの符号化と復号化手順を統合的に同時に学習できるか？
• RQ2 扱いやすい変分下界による相互情報量の最大化は、表現品質と回復性能をどのように向上させるか？
• RQ3 明示的な事前分布を必要としない状況で、UAEはPCAおよび暗黙的生成モデル化にどの程度一般化できるか？
• RQ4 UAEは多様な高次元データセットにおいて、統計的圧縮センシングで既存手法を上回る性能を示すか？
• RQ5 源となるデータセットからターゲットデータセットに移行する際、UAEの表現はドメイン間で一般化可能か？

主な発見

• MNISTデータセットにおいて、UAEは測定レートの全範囲で、最も近いベンチマーク比で平均38%の回復性能向上を達成した。
• Omniglotデータセットでは、競合手法比で平均31%の回復性能向上を示した。
• CelebAでは、全測定設定において平均28%の回復精度向上を示した。
• MNISTにおいて、低次元表現を用いた下流分類タスクで、UAEの線形符号化はPCAを平均5.33%上回った。
• このフレームワークはドメイン一般化を可能とし、あるデータセットで学習したエンコーダー/デコーダーが異なるターゲットデータセットへも強力な転移性能を示した。
• 理論的に、非線形デコーダーを用いてもUAEがPCAを一般化することが示されたが、これは標準的なオートエンコーダーには見られない性質である。