[論文レビュー] Adversarially Learned Inference

Vincent Dumoulin, Ishmael Belghazi+5 more|arXiv (Cornell University)|Jun 2, 2016

Adversarial Robustness in Machine Learning参考文献 38被引用数 692

ひとこと要約

ALIは敵対的枠組みでエンコーダとデコーダを共同訓練し、相互に整合する推論ネットワークと生成ネットワークを学習させ、卓越した半教師付き性能を維持しつつ高忠実度サンプルを保つ競争力を持たせる。

ABSTRACT

We introduce the adversarially learned inference (ALI) model, which jointly learns a generation network and an inference network using an adversarial process. The generation network maps samples from stochastic latent variables to the data space while the inference network maps training examples in data space to the space of latent variables. An adversarial game is cast between these two networks and a discriminative network is trained to distinguish between joint latent/data-space samples from the generative network and joint samples from the inference network. We illustrate the ability of the model to learn mutually coherent inference and generation networks through the inspections of model samples and reconstructions and confirm the usefulness of the learned representations by obtaining a performance competitive with state-of-the-art on the semi-supervised SVHN and CIFAR10 tasks.

研究の動機と目的

• 深層生成フレームワークを動機づけ、生成ネットワークと推論ネットワークを共同で学習する。
• GANとVAEを結ぶことで、対向トレーニング内で効率的かつ表現力のある推論を可能にする。
• 学習された潜在表現がSVHNとCIFAR-10の半教師付きタスクで有用であることを示す。

提案手法

• エンコーダq(x,z) = q(x) q(z|x)とデコーダp(x,z) = p(z) p(x|z)を定義し、これら二つの分布の結合サンプルを識別する識別器を訓練する。
• 最適な識別器の下でq(x,z)とp(x,z)のJensen-Shannon発散を最適化された対立目的で最小化する。
• 確率的エンコーダ/デコーダを介して勾配を伝搬させるための再参数化トリックを用いる。
• 条件付き生成の拡張を提供し、p(y)とq(x,y)を一致させ、属性（例：CelebA）に基づく条件付けを可能にする。
• AL Iにおける結合推論をInfoGANや事後学習推定のような代替と比較する。

実験結果

リサーチクエスチョン

• RQ1 対立的設定で共同学習された推論と生成が、整合的なエンコーダとデコーダの写像を生み出すか。
• RQ2 学習された潜在表現は標準ベンチマークで競争力のある半教師付き学習を支えるか。
• RQ3 AL Iはモードカバレッジと表現品質の点で、InfoGANや事後推定のような代替推定戦略と比較してどうか。
• RQ4 補助情報を条件付けとして与えたとき、学習モデルの挙動にどのような影響があるか。

主な発見

• ALIはGANに匹敵する高忠実度サンプルを生成しつつ、データを潜在変数へ写像する推論機構を有する。
• ALIにおける潜在表現の補間はデータ点間の滑らかな遷移を示し、潜在構造の整合性を示唆する。
• ALI推定特徴はSVHNおよびCIFAR-10の半教師付き結果で競争力があり、特徴マッチングなしで従来のGANベース手法を上回ることが多い。
• 条件付きALIは観測属性（例：CelebA属性）を用いて生成出力を制御する能力を示す。
• GANベースの推論と比較する実験では、推論と生成の共学習が事後的マッピングや反転マッピングに比べモードカバレッジを改善する。