[論文レビュー] Associative Compression Networks for Representation Learning

Alex Graves, Jacob Menick+1 more|arXiv (Cornell University)|Apr 6, 2018

Generative Adversarial Networks and Image Synthesis参考文献 31被引用数 16

ひとこと要約

本稿では、データセット内の類似した潜在コードを前提として事前分布を条件づける変分オートエンコーダーの変種、関連性圧縮ネットワーク（ACNs）を提案する。これにより、効率的な圧縮と豊富で構造的な表現が可能になる。潜在空間における局所的依存関係をモデル化することで、強力な自己回帰的デコーダーを搭載しても情報量の多い潜在コードを維持でき、MNIST、CIFAR-10、ImageNet、CelebAの各データセットで、非教師あり表現学習の最先端の性能を達成した。

ABSTRACT

This paper introduces Associative Compression Networks (ACNs), a new framework for variational autoencoding with neural networks. The system differs from existing variational autoencoders (VAEs) in that the prior distribution used to model each code is conditioned on a similar code from the dataset. In compression terms this equates to sequentially transmitting the dataset using an ordering determined by proximity in latent space. Since the prior need only account for local, rather than global variations in the latent space, the coding cost is greatly reduced, leading to rich, informative codes. Crucially, the codes remain informative when powerful, autoregressive decoders are used, which we argue is fundamentally difficult with normal VAEs. Experimental results on MNIST, CIFAR-10, ImageNet and CelebA show that ACNs discover high-level latent features such as object class, writing style, pose and facial expression, which can be used to cluster and classify the data, as well as to generate diverse and convincing samples. We conclude that ACNs are a promising new direction for representation learning: one that steps away from IID modelling, and towards learning a structured description of the dataset as a whole.

研究の動機と目的

• 強力な自己回帰的デコーダーを搭載した際、標準的なVAEが情報量の多い潜在コードを維持できないという問題に対処すること。
• 高レベルの概念を符号化するコストが、個々のデータポイントに対する圧縮の利点を上回るという変分オートエンコーディングにおける逆説を克服すること。
• 個々の例に注釈を付与するのではなく、データセット全体を構造的な潜在表現によって整理するフレームワークを開発すること。
• 補助的な教師信号なしに、クラスタリング、分類、制御可能な生成を支援できる意味的で分離可能な表現を実現すること。
• 潜在空間におけるデータセット全体の局所的構造をモデル化することで、圧縮効率と表現品質を向上させられることを示すこと。

提案手法

• 訓練データセット内の潜在コードの近隣に位置するコードに基づき、潜在空間内での距離に応じて事前分布を条件づける手法を導入する。
• 2段階の圧縮フレームワークを採用する：まず、類似したコードに基づく条件付き事前分布を用いてコードを送信し、次に残差を自己回帰的デコーダーで送信する。
• 期待記述長（KLダイバージェンス＋再構成損失）を最小化する変分推論の目的関数を用いて、モデルをエンドツーエンドで学習する。
• 潜在空間におけるk近傍探索（k-NN）を実行し、事前分布の条件づけに使用する類似コードを特定することで、局所的構造を捉える。
• 強力な自己回帰的デコーダー（例：ゲート付きPixelCNN）を用いて、コードからデータを再構成し、高精度な生成を可能にする。
• 潜在空間をたどる「ドリーム・サンプリング」を可能にし、構造的連続性を保ったまま、サンプル間の滑らかな補間を実現する。

実験結果

リサーチクエスチョン

• RQ1 強力な自己回帰的デコーダーを搭載した場合でも、VAEが情報量の多い潜在コードを維持できるかどうか。これは、通常はコードの無視という失敗モードに陥るとされる。
• RQ2 データセット内の類似したコードに基づいて事前分布を条件づけることで、標準的なVAEと比較して圧縮効率と表現品質が向上するか。
• RQ3 得られた潜在コードが、多様なデータセットにおいて、オブジェクトの分類、ポーズ、スタイルといった高レベルの分離可能な要因を捉えられるか。
• RQ4 微調整なしに、線形分類やクラスタリングといった下流タスクに適した表現が学習可能か。
• RQ5 連続的な潜在空間の走査（ドリーム・サンプリング）によって、意味的構造を保ちながら多様で高品質なサンプルを生成できるか。

主な発見

• MNISTでは、ACNの潜在コードが線形分類で91.2%の正確度を達成し、ピxlsそのものの38.4%を大幅に上回った。
• CIFAR-10では、ACNの潜在コードがトップ1線形分類正確度55.3%を達成し、ピxlsの38.4%を上回り、高レベル特徴の強力な分離性を示した。
• ImageNet（32x32）では、ACNの潜在コードがトップ1で18.5%、トップ5で40.5%の線形分類正確度を達成し、ピxlsの3.0%および9.0%を大きく上回った。
• CelebAでは、ACNの潜在コードが性別、表情、ポーズといった高レベル属性を保持しており、再構成画像が顔の特徴や照明を正確にモデル化していた。
• ドリーム・サンプリングにより、表情、ポーズ、スタイルにわたり滑らかで連続的な遷移が観察され、潜在空間の構造的かつ分離可能な組織化が示された。
• ACNのサンプルは、ベースラインのゲート付きPixelCNNと比較して、全体的な画像の一貫性と多様性を捉える点で、わずかだが一貫した品質向上を示した。