[論文レビュー] Autoencoding Variational Autoencoder

Ali Taylan Cemgil, Sumedh Ghaisas+3 more|arXiv (Cornell University)|Dec 7, 2020

Generative Adversarial Networks and Image Synthesis参考文献 11被引用数 15

ひとこと要約

本稿では、自己符号化を強制することで自己一貫性のある符号化を実現する、Autoencoding Variational Autoencoder (AVAE) を提案する。VAEが自身が生成したサンプルを再構築するように訓練することで、表現の頑健性が向上する。この手法は adversarial training を行わずとも、ColorMNIST および CelebA で最先端の adversarial 頑健性を達成し、標準的な VAE や特化された頑健モデルを上回る性能を示す。

ABSTRACT

Does a Variational AutoEncoder (VAE) consistently encode typical samples generated from its decoder? This paper shows that the perhaps surprising answer to this question is `No'; a (nominally trained) VAE does not necessarily amortize inference for typical samples that it is capable of generating. We study the implications of this behaviour on the learned representations and also the consequences of fixing it by introducing a notion of self consistency. Our approach hinges on an alternative construction of the variational approximation distribution to the true posterior of an extended VAE model with a Markov chain alternating between the encoder and the decoder. The method can be used to train a VAE model from scratch or given an already trained VAE, it can be run as a post processing step in an entirely self supervised way without access to the original training data. Our experimental analysis reveals that encoders trained with our self-consistency approach lead to representations that are robust (insensitive) to perturbations in the input introduced by adversarial attacks. We provide experimental results on the ColorMnist and CelebA benchmark datasets that quantify the properties of the learned representations and compare the approach with a baseline that is specifically trained for the desired property.

研究の動機と目的

• 標準的な VAE が生成する典型的なサンプルを一貫して符号化できない理由を調査すること。
• 標準的な VAE におけるデコーダーが生成したサンプルとそれに対応する潜在表現の間の不一致を是正すること。
• 自己符号化を強制する自己一貫性のある訓練手順を提案し、学習された表現の頑健性を向上させること。
• 自己一貫性が adversarial data やファインチューニングを必要とせずに、adversarial 頑健性をもたらすことを実証すること。

提案手法

• エンコーダーとデコーダーを交互に繰り返すマーカフ連鎖として潜在変数の事後分布をモデル化することで、エンコーダーとデコーダーの間の整合性を強制する新しい変分下界を提案する。
• 元の学習データにアクセスできない状態でも適用可能な自己教師付き後処理ステップを導入する。
• 2段階の訓練プロセスを採用する：まず標準的な VAE を訓練し、その後 AVAE の自己一貫性目的関数を繰り返し符号化と復元を用いて適用する。
• 真の事後分布の確率的近似として、エンコーダー・デコーダーのパスを交互に繰り返すマーカフ連鎖を用いて、潜在表現を精緻化する。
• 訓練中に自己一貫性正則化の強度を制御するための温度パラメータ ρ を適用する。
• エンコーダーが生成されたサンプルを元の潜在変数に戻すことを促進する追加の損失項を標準的な VAE 訓練に追加する。

実験結果

リサーチクエスチョン

• RQ1 標準的な VAE は、自身が生成する典型的なサンプルを一貫して符号化できるのか、それともデコーダーの出力とエンコーダーの推論の間に不一致があるのか？
• RQ2 VAE フレームワークにおいて自己一貫性を強制することで、adversarial パーティクルに対する表現の頑健性が向上するか？
• RQ3 元のデータにアクセスできない状態で、再訓練をせずに後処理によって表現品質を向上させることは可能か？
• RQ4 self-consistent AVAE は adversarially trained モデルと比較して、頑健性および下流タスク性能において優れているか？
• RQ5 ρ や ρ_SE のようなハイパーパrameter が、学習された表現の頑健性および一般化性能に与える影響は何か？

主な発見

• CelebA の 'Bald' タスクにおいて、ε=0.1 の PGD 攻撃下で AVAE は 87.0% の adversarial テスト精度を達成し、標準的な VAE (2.1%) や SE-AVAE (70.0%) を上回った。
• 畳み込みアーキテクチャを用いた ColorMNIST データセットでは、AVAE は 97.8% のノーマル精度と ε=0.1 の PGD 攻撃下で 86.5% の adversarial 精度を達成し、標準的な VAE (97.9% ノーマル、2.1% adversarial) を顕著に上回った。
• 自己教師付きの AVAE 後処理ステップは、CelebA のすべての 17 タスクにおいて下流の adversarial 精度を向上させ、標準的な VAE と比較して時間要因で 2.2 倍、頑健性で 2.2 倍の向上を示した。
• adversarial data を一切使用せずとも、AVAE は adversarial 頑健性において最先端の性能を達成した。これは、自己一貫性そのものが頑健な表現を生み出せることを示している。
• この手法は MLP や VGG といった異なるアーキテクチャ、および ColorMNIST や CelebA といった異なるデータセットでも有効であり、ドメインやモデル構造を問わず一般化可能であることが示された。
• CelebA における AVAE の FID スコアが 97.92 であることは、高品質なサンプル生成を可能にしていることを示しており、同時に強い頑健性を維持しているため、サンプル品質と頑健性のトレードオフがないことが示唆された。