[論文レビュー] Learning to Pivot with Adversarial Networks

Gilles Louppe, M. Kagan+1 more|arXiv (Cornell University)|Nov 3, 2016

Domain Adaptation and Few-Shot Learning被引用数 87

ひとこと要約

本論文は、予測モデルが連続的またはカテゴリカルな余分パラメータに対して不変である統計的ピボットであることを強制するための敵対的訓練フレームワークを提案する。これは、分類器と敵対的モデルを同時に訓練し、モデル出力と余分変数の間の依存度を最小化することで実現される。本手法は、余分パラメータの分布に関する明示的な知識を必要とせず、理論的収束保証を備え、素粒子物理学とトゥイ・エクサムプルにおいて有効性が実証されている。

ABSTRACT

Several techniques for domain adaptation have been proposed to account for differences in the distribution of the data used for training and testing. The majority of this work focuses on a binary domain label. Similar problems occur in a scientific context where there may be a continuous family of plausible data generation processes associated to the presence of systematic uncertainties. Robust inference is possible if it is based on a pivot -- a quantity whose distribution does not depend on the unknown values of the nuisance parameters that parametrize this family of data generation processes. In this work, we introduce and derive theoretical results for a training procedure based on adversarial networks for enforcing the pivotal property (or, equivalently, fairness with respect to continuous attributes) on a predictive model. The method includes a hyperparameter to control the trade-off between accuracy and robustness. We demonstrate the effectiveness of this approach with a toy example and examples from particle physics.

研究の動機と目的

• 未知または変動するデータ生成プロセスのため、トレーニングデータが実世界のデータを正しく表現しない科学的機械学習におけるシステム的不確実性の課題に対処すること。
• 二値ドメインシフトを仮定する従来のドメイン適応手法の制限を克服し、連続的なデータ生成プロセスの族に対しても耐性を発揮するように拡張すること。
• 予測モデルの分布が余分パラメータに依存しないというピボル性（pivotal property）を強制することで、さまざまなシステム的条件下でも耐性のある推論を保証すること。
• 正確な条件付き分布推定を必要とせず、離散的および連続的両方の余分パラメータを扱える統一フレームワークを提供すること。
• スレーブ属性やシステム的属性への依存度を最小化することで、公平で耐性のある分類を実現し、従来の公平性設定を越えて科学的不確実性の定量化に応用すること。

提案手法

• 分類器 $ f $ と敵対的モデル $ r $ をミニマックス敵対的設定で同時に訓練する。ここで $ f $ はラベルを予測することを目的とし、$ r $ は $ f(X;\theta_f) $ から余分パラメータ $ Z $ を推定することを試みる。
• 敵対的モデル $ r $ は条件付き分布 $ p(Z|f(X;\theta_f)) $ をモデル化し、分類器の出力から $ Z $ を推定できるように訓練される。
• 分類器 $ f $ は予測損失 $ \mathcal{L}_f $ を最小化すると同時に、敵対的損失 $ \mathcal{L}_r $ を最大化するように訓練され、結果として $ Z $ への依存度が最小化される。
• 目的関数は標準的な予測損失と、$ f(X;\theta_f) $ が $ Z $ に対して統計的に独立であるように促す敵対的損失を組み合わせており、ピボル性を強制する。
• 本手法は、両方のモデル $ f $ と $ r $ をニューラルネットワークで表現することで、連続的余分パラメータの上でも柔軟な関数近似と一般化を可能にする。
• 予測精度と耐性（$ Z $ への不変性）の間のトレードオフを制御するハイパーパrameterを用意し、応用分野に応じた最適化が可能である。

実験結果

リサーチクエスチョン

• RQ1 余分パラメータが連続的である場合、敵対的訓練を用いて予測モデルと余分パラメータの間の統計的独立性（ピボル性）を強制できるか？
• RQ2 余分パラメータの分布に関する明示的知識が得られない状況でも、科学的データにおけるシステム的不確実性に対して耐性のある機械学習モデルをどのように構築できるか？
• RQ3 余分パラメータへのモデル出力の不変性を強制する敵対的訓練手順の理論的収束挙動はいかなるものか？
• RQ4 本手法は、二値または離散的ドメインシフトを仮定する従来のドメイン適応および公平性手法と比較して、どのように異なるか？
• RQ5 高エネルギー物理学分野ではシステム的不確実性が一般的であり、モデルの耐性が極めて重要であるが、本手法はその分野でも有効に適用可能か？

主な発見

• 存在する場合、提案手法の敵対的訓練手順は、最適かつピボル性を持つモデルに収束することが保証される（すなわち、余分パラメータ $ Z $ に依存しない）。
• 完全なピボルが存在しない場合、ハイパーパラメータによる調整により、予測精度と耐性の間のトレードオフを制御でき、不確実性下でも実用的導入が可能になる。
• 本手法は二値ドメインシフトに限定されず、連続的またはカテゴリカルな余分パラメータを扱える。また、すべての $ z $ に対して $ p(f(X)|Z=z) $ の経験的推定を必要としない。
• 素粒子物理学の例では、データ生成プロセスのシステム的変動に対して不変な分類器を効果的に生成し、名目条件で訓練された標準モデルを上回る性能を示した。
• トゥイ・エクサムプルおよび実世界の素粒子物理学データセットを用いた実証的検証により、システム的不確実性下での耐性向上が確認された。
• 本フレームワークは、モデル予測とスレーブ属性の独立性を強制することで、公平性応用へも拡張可能であり、耐性あり公平な機械学習の統一的アプローチを提供する。