[論文レビュー] Fundamental Limits and Tradeoffs in Invariant Representation Learning

Han Zhao, Dan Chen+4 more|arXiv (Cornell University)|Dec 19, 2020

Adversarial Robustness in Machine Learning参考文献 50被引用数 10

ひとこと要約

本稿は、表現学習における予測精度と不変性の根本的トレードオフを情報理論的分析により検討し、可能性領域を幾何的に特徴付けるための「情報平面」の概念を導入する。回帰タスクではこの領域を正確に特徴付け、分類タスクでは内包境界を提示することで、既存のアルゴリズムの劣化を証明可能にし、精度と不変性のパレート最適トレードオフを明らかにする。

ABSTRACT

A wide range of machine learning applications such as privacy-preserving learning, algorithmic fairness, and domain adaptation/generalization among others, involve learning invariant representations of the data that aim to achieve two competing goals: (a) maximize information or accuracy with respect to a target response, and (b) maximize invariance or independence with respect to a set of protected features (e.g., for fairness, privacy, etc). Despite their wide applicability, theoretical understanding of the optimal tradeoffs -- with respect to accuracy, and invariance -- achievable by invariant representations is still severely lacking. In this paper, we provide an information theoretic analysis of such tradeoffs under both classification and regression settings. More precisely, we provide a geometric characterization of the accuracy and invariance achievable by any representation of the data; we term this feasible region the information plane. We provide an inner bound for this feasible region for the classification case, and an exact characterization for the regression case, which allows us to either bound or exactly characterize the Pareto optimal frontier between accuracy and invariance. Although our contributions are mainly theoretical, a key practical application of our results is in certifying the potential sub-optimality of any given representation learning algorithm for either classification or regression tasks. Our results shed new light on the fundamental interplay between accuracy and invariance, and may be useful in guiding the design of future representation learning algorithms.

研究の動機と目的

• 表現学習における予測精度と不変性の限界およびトレードオフを理論的に理解すること。
• 任意のデータ表現に対して、精度と不変性の実現可能領域（「情報平面」として呼ばれる）を特徴付けること。
• 既存の表現学習アルゴリズムの劣化を証明可能なフレームワークを提供すること。
• 精度と不変性のパレート最適トレードオフを達成するための解析的条件を導出すること。
• 離散的・ノイズなし設定からの理論的知見を、連続的・ノイズあり設定へと拡張し、洗練された数学的道具を用いること。

提案手法

• 任意のデータ表現が達成可能な精度と不変性の実現可能領域を幾何的に表現する「情報平面」を導入する。
• 分散分解と全分散の法則を用いて、条件付き期待値の境界を導出し、理論的分析の根幹をなす。
• 一般化されたコーシー＝シュワルツの不等式を適用し、条件付き期待値の分散の上界および下界を導出する。
• ランダマイゼーションに基づく構成技法を用いて、実現可能領域内の任意の点が表現学習によって達成可能であることを示す。
• 共分散および分散の関係に基づく解析的解を用いて、回帰におけるパレートフロンティアの正確な特徴付けを導出する。
• 高度な情報理論的道具を用いて、離散的・ノイズなし設定からの結果を連続的・ノイズあり設定へと一般化する。

実験結果

リサーチクエスチョン

• RQ1 表現学習における予測精度と不変性の根本的トレードオフは何か？
• RQ2 データ表現における精度と不変性の実現可能領域（「情報平面」として知られる）の幾何的構造は何か？
• RQ3 回帰タスクにおいて、精度と不変性のパレート最適フロンティアを正確に特徴付けられるか？
• RQ4 実際の応用で達成可能なパレートフロンティアが実現可能となる条件は何か？
• RQ5 理論的境界を用いて、既存の不変表現学習アルゴリズムの劣化をどのように証明できるか？

主な発見

• 本稿は、回帰タスクにおける実現可能領域（情報平面）を正確に特徴付け、精度と不変性のトレードオフを精密に分析可能にする。
• 分類タスクでは、実現可能領域への内包境界を確立し、達成可能なトレードオフの保守的だが厳密な近似を提供する。
• 回帰における精度と不変性のパレート最適フロンティアは、相関係数 $\rho_{YA}^2$ と分散項を用いて解析的に特徴付けられる。
• 当時 $\operatorname{Var}(\mathbb{E}[f_A^*(X)|Z]) = 0$ の場合、精度の上界は $\operatorname{Var}[f_Y^*(X)](1 - \rho_{YA}^2)$ に等しくなる。これは不変性制約下での最大達成可能精度を示している。
• 当時 $\operatorname{Var}(\mathbb{E}[f_Y^*(X)|Z]) = \operatorname{Var}[f_Y^*(X)]$ の場合、不変性の下界は $\operatorname{Var}[f_Y^*(X)]\rho_{YA}^2$ に等しくなる。これは完全な精度下での最小不変性を示している。
• 理論的フレームワークにより、分類および回帰の両方において、実データセット上での既存の表現学習アルゴリズムの劣化を実用的に証明可能にする。