[論文レビュー] Unified Adversarial Invariance

Ayush Jaiswal, Rex Yue Wu+2 more|arXiv (Cornell University)|May 7, 2019

Adversarial Robustness in Machine Learning参考文献 39被引用数 11

ひとこと要約

本稿では、ノイズ要因のアノテーションを必要とせずに、教師あり表現学習におけるノイズ要因およびバイアス要因の両方に対する不変性を誘導する深層学習フレームワーク、Unified Adversarial Invariance (UnifAI) を提案する。アンラベルドなノイズ要因に対しても、予測器と再構成器を競合的に訓練し、分離と敵対的ペナルティを課すことで、未観測のノイズ変動に対する耐性と公平性の両面で最先端の性能を達成した。

ABSTRACT

We present a unified invariance framework for supervised neural networks that can induce independence to nuisance factors of data without using any nuisance annotations, but can additionally use labeled information about biasing factors to force their removal from the latent embedding for making fair predictions. Invariance to nuisance is achieved by learning a split representation of data through competitive training between the prediction task and a reconstruction task coupled with disentanglement, whereas that to biasing factors is brought about by penalizing the network if the latent embedding contains any information about them. We describe an adversarial instantiation of this framework and provide analysis of its working. Our model outperforms previous works at inducing invariance to nuisance factors without using any labeled information about such variables, and achieves state-of-the-art performance at learning independence to biasing factors in fairness settings.

研究の動機と目的

• 教師あり深層ニューラルネットワークにおけるノイズ要因およびバイアス要因の両方に対する不変性を誘導する統合フレームワークの開発。
• 照明の変化（顔認識における例）など、関係のないデータ変動へのモデルの過学習を防ぐ挑戦に、ノイズ要因のラベル付きデータを必要とせずに対処すること。
• トレーニング中に感受性属性（例：性別、人種）を潜在表現から除去することで、公平性を強制すること。
• ノイズ要因のデータ拡張や明示的监督を用いずに、競合的トレーニングと敵対的ペナルティによって不変性を達成すること。
• z-アノテーションが存在しない状況でも、未観測のノイズ変動に対する耐性とバイアス低減における公平性の両面で、既存手法を上回ること。

提案手法

• モデルは、予測用（e1）と再構成用（e2）の2つの部分に分割された表現を学習し、共有ボトルネック構造により分離を強制する。
• 予測タスク（e1上で）と再構成タスク（e2上で）の間で、両者のバランスを制御するハイパーパrameterを用いた競合的トレーニング目的関数を採用する。
• エンコーダーが予測タスクと再構成タスクの両方に分離された、分離済みの表現を生成するように訓練することで、分離を達成する。
• 潜在表現 e1 に既知のバイアス要因 z の情報が含まれている場合にネットワークをペナルティ化するため、敵対的ディスクラミネーターを用いる。
• 予測精度、再構成損失、分離正則化、および z に対する敵対的ペナルティを統合したジョイント損失関数を用いて、エンドツーエンドでモデルを訓練する。
• フレームワークは敵対的アプローチで実装されており、ノイズ要因のアノテーションは一切不要だが、公平性設定ではバイアス要因のアノテーションは必要となる。

実験結果

リサーチクエスチョン

• RQ1 ノイズ要因のラベル付きアノテーションを必要とせずに、統合フレームワークがノイズ要因に対する不変性を誘導できるか？
• RQ2 敵対的トレーニングをどのように活用することで、モデル予測におけるバイアス要因（例：性別、人種）からの独立性を強制できるか？
• RQ3 予測と再構成の間の競合的トレーニングが、モデルの一般化性能および不変性に与える影響は何か？
• RQ4 本手法は、最先端の手法と比較して、未観測のノイズ変動に対する耐性と公平性の両面で優れているか？
• RQ5 z-アノテーションに依存しない状況でも、本手法が耐性と公平性の両面で最先端の性能を達成できるか？

主な発見

• Extended Yale-B データセットでは、UnifAI はアイデンティティ予測で 88.7% の精度を達成し、照明条件に対して完全な不変性を維持した（Az = 0.67、マジョリティ照明クラスの母集団比率と一致）。
• ドイツ信用データセットでは、UnifAI は信用格付け予測で 78% の精度（Ay = 0.78）を達成し、先行手法を上回ったが、性別に対して完全な不変性（Az = 0.80、マジョリティクラスの母集団比率と一致）を維持した。
• t-SNE ビジュアライゼーションにより、不変な埋め込み e1 がノイズ要因（年齢、照明）やバイアス要因（性別）によってクラスタリングされないことが確認された。これは、元のデータや e2 の表現とは対照的であった。
• 予測と再構成の間の競合的トレーニングが極めて重要であることが示された：再構成重み（β）を増加させると、ある点までは精度が向上したが、その後、予測情報の損失により性能が低下した。
• NN+MMD、VFAE、CAI、CVIB といった最先端手法と比較して、公平性と耐性の両ベンチマークで本手法が優れており、特に z-アノテーションが存在しない状況で顕著であった。
• ノイズ要因の未観測変動（例：未確認の照明条件）に対しても、本フレームワークは一般化を示した。これは、予測用表現からその要因を排除したためである。