[論文レビュー] Distributional Adversarial Networks

Chengtao Li, David Alvarez-Melis+3 more|arXiv (Cornell University)|Jun 29, 2017

Adversarial Robustness in Machine Learning参考文献 31被引用数 11

ひとこと要約

本稿では、生成モデルと実データのバッチ全体に対して作用するサンプルベースの敵対的アドバーシャリーを導入することで、GANにおけるポイントワイズ判別器を置き換える新しいフレームワーク、分布的敵対的ネットワーク（DAN）を提案する。カーネル二サンプル検定などの分布的乖離測定を活用することで、学習安定性が向上し、モード崩壊が著しく低減され、最小限のアーキテクチャ変更で画像生成およびドメイン適応タスクにおいて最先端の性能を達成する。

ABSTRACT

We propose a framework for adversarial training that relies on a sample rather than a single sample point as the fundamental unit of discrimination. Inspired by discrepancy measures and two-sample tests between probability distributions, we propose two such distributional adversaries that operate and predict on samples, and show how they can be easily implemented on top of existing models. Various experimental results show that generators trained with our distributional adversaries are much more stable and are remarkably less prone to mode collapse than traditional models trained with pointwise prediction discriminators. The application of our framework to domain adaptation also results in considerable improvement over recent state-of-the-art.

研究の動機と目的

• 従来のポイントワイズ判別器を用いたGANで一般的に見られる不安定性とモード崩壊を解消すること。
• 個々のサンプルポイントではなく、サンプル全体に基づいて動作する新しい敵対的学習フレームワークを提案すること。
• 実データと生成データの分布的差をモデル化することで、モードカバレッジと学習安定性を向上させること。
• 最小限のアーキテクチャ変更により、既存モデルへのプラグアンドプレイ統合を可能とすること。
• 画像生成および教師なしドメイン適応タスクにおいて優れた性能を示すこと。

提案手法

• 分布的アドバーシャリーの2種類を提案：エネルギーに基づく二サンプル検定を用いるDAN-Sと、カーネル二サンプル検定を用いるDAN-2S。
• 二サンプル検定におけるカーネル関数を深層ニューラルネットワークでパrameter化し、分布的識別をエンドツーエンドで学習可能にする。
• 既存の判別器アーキテクチャに、バッチ全体をサンプルとして処理するための表現平均化層を追加することで変更を行う。
• 個々のポイントではなく、実データと生成データのサンプル全体を区別するように目的関数を設計する。
• 標準的な判別器を分布に敏感なバージョンに置き換えることで、生成モデルとドメイン適応の両方のタスクにフレームワークを適用する。
• 最小限のアーキテクチャ変更により、既存モデルとの互換性を維持し、既存の学習パイプラインへの容易な統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ポイントワイズ判別器をサンプルベースのアドバーシャリーに置き換えることで、GANにおける学習安定性が向上するか？
• RQ2 敵対的学習における分布的アプローチが、生成サンプルのモードカバレッジと多様性に与える影響は何か？
• RQ3 分布的アドバーシャリーは、教師なしドメイン適応において標準的なGAN判別器を上回る性能を示せるか？
• RQ4 サンプルサイズが分布的アドバーシャリーの性能と安定性に与える影響は何か？
• RQ5 提案されたフレームワークは、既存のディープラーニングモデルにどの程度簡単に統合できるか？

主な発見

• DAN-SおよびDAN-2Sは、モード崩壊を顕著に低減し、標準GANと比較してより多様で現実的な画像生成を実現する。
• CIFAR-10データセットでは、DAN-SがFIDスコア10.76を達成し、ベースラインGANのFID14.42を上回る。
• アマゾンレビュー・データセットにおけるドメイン適応では、DAN-SがDANNに比べ平均正答率1.41%向上し、全ソース・ターゲットペアで一貫した向上を示す。
• MNISTからMNIST-Mへのドメイン適応タスクでは、DAN-2SがDANNの76.13%から79.21%まで3%の向上を達成する。
• 本フレームワークは、プラグインとして容易に導入可能である：既存の判別器に表現平均化層を追加するのみで、再トレーニングやハイパーパramータチューニングは不要。
• 提案手法は、シンプルさと既存モデルとの互換性を保ちながら、ドメイン適応分野で最先端の性能を達成する。