[論文レビュー] Unsupervised Adversarial Invariance

Ayush Jaiswal, Rex Yue Wu+2 more|arXiv (Cornell University)|Sep 26, 2018

Adversarial Robustness in Machine Learning被引用数 22

ひとこと要約

この論文は、予測要因と雑音要因を分離するための敵対的分離器を用いて、予測器と再構成器を競合的に訓練することで、分離された表現を学習する非教師あり敵対的不変性フレームワークを提案する。この手法は、ラベル付き雑音要因やドメイン知識を必要とせず、不変性学習、データ拡張、ドメイン適応の分野で最先端の性能を達成する。

ABSTRACT

Data representations that contain all the information about target variables but are invariant to nuisance factors benefit supervised learning algorithms by preventing them from learning associations between these factors and the targets, thus reducing overfitting. We present a novel unsupervised invariance induction framework for neural networks that learns a split representation of data through competitive training between the prediction task and a reconstruction task coupled with disentanglement, without needing any labeled information about nuisance factors or domain knowledge. We describe an adversarial instantiation of this framework and provide analysis of its working. Our unsupervised model outperforms state-of-the-art methods, which are supervised, at inducing invariance to inherent nuisance factors, effectively using synthetic data augmentation to learn invariance, and domain adaptation. Our method can be applied to any prediction task, eg., binary/multi-class classification or regression, without loss of generality.

研究の動機と目的

• ラベル付き雑音要因やドメイン固有の知識に依存せずに、教師あり学習における不変表現の学習という課題に取り組むこと。
• 予測と再構成のタスク間での競合的トレーニングによって不変性を誘導するフレームワークを開発すること。
• 見たことのない雑音変化に過剰適合しないように、合成データ拡張を用いた効果的な不変性学習を可能にすること。
• アーキテクチャの変更なしに、分類、回帰、ドメイン適応など多様なタスクに一般化できること。
• しばしば入手困難または実用的でないアノテーション付き雑音要因の必要性を排除すること。

提案手法

• モデルは、予測用のe₁と再構成用のe₂に分割された表現を学習し、e₁は再構成に使用されるノイズの入ったバージョンである。
• 予測器（e₁を使用）とデコーダー（e₁̃とe₂を使用）の間で、情報の分離を促進する競合的トレーニング目的関数を設定する。
• 2つの敵対的分離器を用いて分離を強制する：1つはe₁からe₂を予測し、もう1つはe₂からe₁を予測する。これらは敵対的に訓練される。
• 主ネットワークと分離器の間での敵対的最適化を通じて、モデル全体をエンドツーエンドで訓練する。
• このフレームワークはデータモダリティに依存せず、分類や回帰を含む任意の教師ありタスクに適用可能である。
• 雑音要因の監督は不要であり、ゼロショットまたは弱教師あり設定への応用が可能である。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしの要因アノテーションのもとで、固有の雑音要因に対する不変性を非教師ありで効果的に誘導できるか？
• RQ2 予測と再構成の間での競合的トレーニングは、未観測の雑音変化に対してどのようにロバストネスを向上させるか？
• RQ3 敵対的分離は、潜在空間における予測的要因と非予測的要因を効果的に分離できるか？
• RQ4 訓練中に雑音要因が完全に観測されていない状況でも、提案手法は教師あり不変性手法を上回るか？
• RQ5 ドメイン固有の監視なしに、ドメイン適応タスクにどの程度一般化できるか？

主な発見

• 提案モデルは、CelebAデータセットにおいて、CAIやベースラインと比較して、固有の雑音要因に対する不変性学習で最先端の性能を示した。
• CelebAデータセットでは、未観測の雑音変化に対しても、CAIやベースラインよりも顕著に高い精度を達成し、ロバストネスを示した。
• Amazon Reviewsデータセットの12のドメイン適応タスクのうち9つで、VFAEとDANNを上回った。ドメイン間での強力な一般化性能を示した。
• ドメイン適応のタスクでは、電子機器からキッチン用品への変換で89.0%の精度を達成し、DANN（85.4%）とVFAE（85.0%）を上回った。
• アブレーションスタディにより、雑音要因がアノテートされていなくても、モデルの性能がロバストであることが確認された。一方、教師あり手法はこのような条件下で性能を低下させる傾向にあった。
• 敵対的分離器は、予測的要因と非予測的要因を効果的に分離し、未観測の雑音変化に対しても一般化を可能にした。