[論文レビュー] Understanding and Improving Interpolation in Autoencoders via an Adversarial Regularizer

David Berthelot, Colin Raffel+2 more|arXiv (Cornell University)|Jul 19, 2018

Model Reduction and Neural Networks被引用数 91

ひとこと要約

本論文は ACAI を導入します。これは補間係数を予測する critic を訓練し、critic を騙すようにオートエンコーダを訓練する対立的正則化手法で、補間品質を劇的に向上させ、下流タスクのための潜在表現を改善します。

ABSTRACT

Autoencoders provide a powerful framework for learning compressed representations by encoding all of the information needed to reconstruct a data point in a latent code. In some cases, autoencoders can "interpolate": By decoding the convex combination of the latent codes for two datapoints, the autoencoder can produce an output which semantically mixes characteristics from the datapoints. In this paper, we propose a regularization procedure which encourages interpolated outputs to appear more realistic by fooling a critic network which has been trained to recover the mixing coefficient from interpolated data. We then develop a simple benchmark task where we can quantitatively measure the extent to which various autoencoders can interpolate and show that our regularizer dramatically improves interpolation in this setting. We also demonstrate empirically that our regularizer produces latent codes which are more effective on downstream tasks, suggesting a possible link between interpolation abilities and learning useful representations.

研究の動機と目的

• オートエンコーダにおける補間を形式化し、改善する。
• 現実的な補間を強制する対立的正則化を提案する。
• 補間品質の定量的ベンチマークを作成する。
• 改善された補間が分類やクラスタリングなどの下流タスクに有益であることを示す。

提案手法

• 凸結合潜在コードの混合と現実的な再構成によってオートエンコーダの補間を定義する。
• 補間された再構成から補間係数を予測する critic ネットワークを導入する。
• 補間を非補間の再構成のように見せるよう、 critic を惑わせるようにオートエンコーダを訓練する。
• 補間品質を定量化するため、Mean Distance と Smoothness 指標を用いた単純なベンチマーク（autoencoding lines）を提供する。
• ベンチマーク上でさまざまなオートエンコーダアーキテクチャを比較する（ベースライン、ドロップアウト、デノイジング、VAE、AAE、VQ-VAE）。
• ACAI が補間と下流タスクの性能を改善することを示す。

実験結果

リサーチクエスチョン

• RQ1 対立的正則化はオートエンコーダにおけるより高品質でより現実的な補間を促進できるか？
• RQ2 改善された補間は教師あり分類やクラスタリングのための潜在表現の改善と相関するか？
• RQ3 統制された補間ベンチマークにおいて、ACAI は標準的なオートエンコーダや他の潜在正則化オートエンコーダとどう比較されるか？
• RQ4 補間品質と下流表現の有用性との検出可能な関連性はあるか？

主な発見

• ACAI は合成ラインベンチマークで最良の Mean Distance と Smoothness のスコアを達成し、他のオートエンコーダ系の派生を上回った。
• ACAI で学習した潜在表現は MNIST、SVHN、CIFAR-10 の単一層分類器の精度を大幅に向上させる（特に 256-d 潜在表現の SVHN で ACAI 85.14% vs baseline 22.74%）
• ACAI は他モデルと比較して、潜在空間のクラスタリング精度をしばしば改善する（MNIST および SVHN）。
• デノイジング Autoencoder と VAE はいくつかの設定で良い性能を示すことがあるが、ACAI は一貫した補間の改善と競争力のある下流タスク性能を提供する。
• 実画像データセット全般（MNIST、SVHN、CelebA）において、ACAI はベースラインと比べて現実的で滑らかな補間を生み出す傾向がある。