[論文レビュー] Evading the Adversary in Invariant Representation

Daniel Moyer, Shuyang Gao+3 more|arXiv (Cornell University)|May 24, 2018

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、タスクパフォーマンスと不要要因への不変性のバランスを取る1つの目的関数を最適化することで、敵対的でない情報理論的アプローチを提案し、不変表現の学習を行う。反復的なミニマックス訓練を必要とせず、公平な表現学習および制御可能な生成モデル化において、最先端の敵対的手法と同等またはそれ以上の性能を発揮する。

ABSTRACT

Representations of data that are invariant to changes in specified factors are useful for a wide range of problems: removing potential biases in prediction problems, controlling the effects of covariates, and disentangling meaningful factors of variation. Unfortunately, learning representations that exhibit invariance to arbitrary nuisance factors yet remain useful for other tasks is challenging. Existing approaches cast the trade-off between task performance and invariance in an adversarial way, using an iterative minimax optimization. We show that adversarial training is unnecessary and sometimes counter-productive; we instead cast invariant representation learning as a single information-theoretic objective that can be directly optimized. We demonstrate that this approach matches or exceeds performance of state-of-the-art adversarial approaches for learning fair representations and for generative modeling with controllable transformations.

研究の動機と目的

• 下流タスクに有用な表現を維持しつつ、不要要因に対して不変な表現を学ぶという課題に対処すること。
• 敵対的訓練における不変表現学習の限界、すなわち不安定さや逆効果の問題を克服すること。
• 不変性とタスクパフォーマンスを直接バランスさせる包括的で敵対的でない最適化フレームワークを構築すること。
• 不変表現学習における反復的ミニマックス手順を置き換える1つの情報理論的目的関数が有効であることを示すこと。

提案手法

• 予測精度と不要要因への不変性のトレードオフを取る1つの情報理論的目的関数として不変表現学習を定式化すること。
• 表現と不要要因との間の相互情報量を最小化することで、不変性を強制すること。
• 敵対的訓練ループを回避するため、標準的なバックプロパゲーションを用いて目的関数をエンドツーエンドで最適化すること。
• 広範な適用性を実現するため、判別的および生成的モデリングフレームワークに目的関数を統合すること。
• 微分可能に情報を理論的項を近似するために変分推論を活用すること。
• 制御可能な要因を備えた公平な表現学習および分離可能な生成モデリングに本手法を適用すること。

実験結果

リサーチクエスチョン

• RQ1 敵対的でない1つの目的関数を用いたアプローチが、不変表現の学習において敵対的手法と同等またはそれ以上の性能を発揮できるか。
• RQ2 不変表現学習において敵対的訓練は必須であるか、あるいは逆効果をもたらす可能性があるか。
• RQ3 包括的な情報理論的目的関数が、多様なタスクにおいて不変性と予測的有用性を効果的にバランスできるか。
• RQ4 本手法は、最先端のアプローチと比較して、公平な表現学習および制御可能な生成においてどの程度の性能を発揮するか。

主な発見

• 提案手法は、公平な表現学習において、最先端の敵対的手法と同等またはそれ以上の性能を達成した。
• 反復的ミニマックス最適化の必要性が排除され、トレーニングの簡素化と安定性の向上が達成された。
• 制御可能な分離可能な要因を備えた生成モデリングにおいても、強力な性能を示し、最先端の結果と同等またはそれを上回った。
• 情報理論的目的関数は、敵対的干渉なしに不要要因への不変性とタスクパフォーマンスのバランスを効果的に実現した。