[논문 리뷰] Fundamental Limits and Tradeoffs in Invariant Representation Learning

Han Zhao, Dan Chen외 4명|arXiv (Cornell University)|2020. 12. 19.

Adversarial Robustness in Machine Learning참고 문헌 50인용 수 10

한 줄 요약

이 논문은 표현 학습에서 예측 정확도와 불변성 사이의 기본적 상충 관계에 대한 정보 이론적 분석을 제공하며, 정확도와 불변성의 가능 영역을 기하학적으로 특성화하기 위해 '정보 평면'이라는 개념을 도입한다. 이는 회귀 작업에 대해 이 영역을 정확하게 특성화하고 분류 작업에 대해 내부 경계를 제시함으로써 기존 알고리즘의 부분 최적성에 대한 인증과 정확도 및 불변성 사이의 파레토 최적 상충 관계를 드러낸다.

ABSTRACT

A wide range of machine learning applications such as privacy-preserving learning, algorithmic fairness, and domain adaptation/generalization among others, involve learning invariant representations of the data that aim to achieve two competing goals: (a) maximize information or accuracy with respect to a target response, and (b) maximize invariance or independence with respect to a set of protected features (e.g., for fairness, privacy, etc). Despite their wide applicability, theoretical understanding of the optimal tradeoffs -- with respect to accuracy, and invariance -- achievable by invariant representations is still severely lacking. In this paper, we provide an information theoretic analysis of such tradeoffs under both classification and regression settings. More precisely, we provide a geometric characterization of the accuracy and invariance achievable by any representation of the data; we term this feasible region the information plane. We provide an inner bound for this feasible region for the classification case, and an exact characterization for the regression case, which allows us to either bound or exactly characterize the Pareto optimal frontier between accuracy and invariance. Although our contributions are mainly theoretical, a key practical application of our results is in certifying the potential sub-optimality of any given representation learning algorithm for either classification or regression tasks. Our results shed new light on the fundamental interplay between accuracy and invariance, and may be useful in guiding the design of future representation learning algorithms.

연구 동기 및 목표

• 표현 학습에서 예측 정확도와 불변성 사이의 한계와 상충 관계를 이론적으로 이해하는 것.
• 어떤 데이터 표현에 대해서나 정확도와 불변성의 가능 영역(정보 평면이라 함)을 특성화하는 것.
• 기존 표현 학습 알고리즘의 부분 최적성에 대한 인증을 위한 프레임워크를 제공하는 것.
• 정확도와 불변성 사이의 파레토 최적 상충 관계를 달성하기 위한 분석 조건을 유도하는 것.
• 이산적이고 노이즈가 없는 설정에서의 이론적 통찰을 연속적이고 노이즈가 있는 설정으로 확장하기 위해 정교한 수학적 도구를 사용하는 것.

제안 방법

• 어느 데이터 표현이든 달성할 수 있는 정확도와 불변성의 가능 영역을 기하학적으로 표현하는 '정보 평면'을 도입한다.
• 분산 분해와 전체 분산의 법칙을 사용하여 조건부 기대값의 경계를 유도하며, 이는 이론적 분석의 핵심이 된다.
• 일반화된 코시-슈바르츠 부등식을 적용하여 조건부 기대값의 분산에 대한 상한과 하한을 도출한다.
• 표현 학습을 통해 가능 영역 내의 임의의 점이 달성될 수 있음을 보이기 위해 랜덤화 기반의 구성 기법을 활용한다.
• 공분산과 분산 관계에 기반한 해석적 해를 사용하여 회귀에서 파레토 최적 경계를 정확하게 특성화한다.
• 고급 정보 이론적 기법을 사용하여 이산적이고 노이즈가 없는 설정에서의 결과를 연속적이고 노이즈가 있는 설정으로 일반화한다.

실험 결과

연구 질문

• RQ1 표현 학습에서 예측 정확도와 불변성 사이의 기본적 상충 관계는 무엇인가?
• RQ2 데이터 표현에서 정확도와 불변성의 가능 영역(정보 평면이라 함)의 기하학적 구조는 무엇인가?
• RQ3 회귀 작업에서 정확도와 불변성 사이의 파레토 최적 경계를 정확하게 특성화할 수 있는가?
• RQ4 실제로 달성 가능한 파레토 최적 경계를 실현하기 위한 조건는 무엇인가?
• RQ5 이론적 경계를 사용하여 기존의 불변 표현 학습 알고리즘의 부분 최적성을 어떻게 인증할 수 있는가?

주요 결과

• 논문은 회귀 작업에 대해 가능 영역(정보 평면)을 정확하게 특성화하여 정확도-불변성 상충 관계의 정밀한 분석을 가능하게 한다.
• 분류 작업에 대해서는 가능 영역에 대한 내부 경계를 확립하여 달성 가능한 상충 관계에 대한 보수적이지만 엄밀한 근사치를 제공한다.
• 정확도와 불변성 사이의 파레토 최적 경계는 상관계수 $\rho_{YA}^2$와 분산 항목을 사용하여 해석적으로 특성화된다.
• When $\operatorname{Var}(\mathbb{E}[f_A^*(X)|Z]) = 0$, 정확도의 상한은 $\operatorname{Var}[f_Y^*(X)](1 - \rho_{YA}^2)$이며, 이는 불변성 제약 하에서 달성 가능한 최대 정확도를 보여준다.
• When $\operatorname{Var}(\mathbb{E}[f_Y^*(X)|Z]) = \operatorname{Var}[f_Y^*(X)]$, 불변성의 하한은 $\operatorname{Var}[f_Y^*(X)]\rho_{YA}^2$이며, 이는 최대 정확도 하에서 달성 가능한 최소 불변성을 나타낸다.
• 이론적 프레임워크는 실수 데이터셋에서 분류 및 회귀 작업 모두에 대해 기존 표현 학습 알고리즘의 부분 최적성을 실질적으로 인증하는 데 기여한다.