[논문 리뷰] Exchanging Lessons Between Algorithmic Fairness and Domain Generalization

Elliot Creager, Joern-Henrik Jacobsen외 1명|arXiv (Cornell University)|2021. 05. 04.

Domain Adaptation and Few-Shot Learning인용 수 9

한 줄 요약

이 논문은 알고리즘적 형평성과 도메인 일반화 사이의 상호작용을 규명하기 위해, 사전에 정의된 환경 분할이 필요 없는 새로운 도메인 일반화 방법을 제안함으로써 이들 영역을 양방향으로 연결한다. 이 방법은 그룹 레이블이 없는 상황에서 worst-case 성능을 향상시키는 형평성 기법들에서 영감을 받았다. 이는 기존의 Invariant Risk Minimization보다 더 나은 일반화 성능을 보이며, 형평성 기준인 group-sufficiency를 직접 최적화할 수 있도록 한다. 이는 형평성 기준을 직접 최적화한 최초의 사례이다.

ABSTRACT

Standard learning approaches are designed to perform well on average for the data distribution available at training time. Developing learning approaches that are not overly to the training distribution is central to research on domain- or out-of-distribution generalization, robust optimization and fairness. In this work we focus on links between research on domain generalization and algorithmic fairness---where performance under a distinct but related test distributions is studied---and show how the two fields can be mutually beneficial. While domain generalization methods typically rely on knowledge of disjoint domains or environments, sensitive label information indicating which demographic groups are at risk of discrimination is often used in the fairness literature. Drawing inspiration from recent fairness approaches that improve worst-case performance without knowledge of groups, we propose a novel domain generalization method that handles the more realistic scenario where environment partitions are not provided. We then show theoretically and empirically how different partitioning schemes can lead to increased or decreased generalization performance, enabling us to outperform Invariant Risk Minimization with handcrafted environments in multiple cases. We also show how a re-interpretation of IRMv1 allows us for the first time to directly optimize a common fairness criterion, group-sufficiency, and thereby improve performance on a fair prediction task.

연구 동기 및 목표

• 분포 간 강건한 일반화에 있어 공통적인 과제를 규명함으로써 알고리즘적 형평성과 도메인 일반화를 연결하고자 한다.
• 실제 응용에서 흔히 발생하는 환경 분할이 제공되지 않는 현실적인 상황을 다루고자 한다.
• IRMv1 방법을 재해석함으로써 group-sufficiency—형평성 기준—를 직접 최적화할 수 있도록 하여 형평성 최적화를 직접 가능하게 하고자 한다.
• 다양한 분할 기법이 일반화 성능에 미치는 영향을 분석함으로써 강건한 모델 설계에 대한 새로운 통찰을 제공하고자 한다.

제안 방법

• 환경 분할에 대한 명시적 지식이 필요 없이 worst-case 성능을 향상시키는 도메인 일반화 방법을 제안하며, 그룹 레이블 의존도를 피하는 형평성 기법들에서 영감을 얻었다.
• 형평성 지표인 group-sufficiency를 직접 최적화할 수 있도록 invariant risk minimization (IRMv1)을 재구성함으로써 형평성과 일반화 성능 향상을 동시에 달성한다.
• 환경 간의 불변성을 장려하는 손실 함수를 사용하며, 재해석된 IRMv1 목표를 통해 형평성 제약 조건을 통합한다.
• 수동으로 설정한 환경 분할과 학습된 환경 분할을 모두 활용하여 다수의 데이터셋에서 성능을 평가함으로써 일반화의 강건성을 비교한다.
• 다양한 분할 기법이 모델의 일반화에 미치는 영향을 분석하여 성능 향상 또는 저하가 발생하는 조건을 규명한다.

실험 결과

연구 질문

• RQ1 그룹 레이블 의존도를 피하는 형평성 기반 기법을 어떻게 도메인 일반화에 적용하여 환경 분할이 없는 조건에서도 성능을 향상시킬 수 있는가?
• RQ2 다양한 환경 분할 기법이 도메인 일반화에서 일반화 성능에 어떤 영향을 미치는가?
• RQ3 IRMv1을 재해석하여 group-sufficiency와 같은 표준 형평성 기준을 직접 최적화할 수 있는가?
• RQ4 제안된 방법은 수동으로 설정된 환경 기반의 표준 IRMv1보다 어떤 상황에서 성능이 뛰어나게 되는가?
• RQ5 형평성과 도메인 일반화 간의 상호작용은 더 강건하고 공정한 기계학습 모델 설계에 어떻게 기여하는가?

주요 결과

• 제안된 도메인 일반화 방법은 사전에 정의된 환경 분할이 없는 상황에서 다수의 데이터셋에서 표준 IRMv1보다 더 나은 일반화 성능을 달성한다.
• 다양한 분할 기법이 일반화 성능에 상당한 영향을 미치는 것으로 확인되었으며, 일부 구성에서는 기준 모델 대비 뚜렷한 성능 향상을 보였다.
• IRMv1의 재해석을 통해 group-sufficiency—핵심 형평성 지표—를 직접 최적화할 수 있었으며, 이는 공정한 예측 작업에서의 성능 향상으로 이어졌다.
• 이 방법은 형평성 인지 설계가 분포 이동에 대한 강건성을 향상시킬 수 있음을 보여주며, 형평성과 도메인 일반화 간의 상호 이점을 입증한다.
• 실험 결과, 환경 분할이 제공되지 않거나 잘못 지정된 상황에서도 제안된 방법이 항상 IRMv1보다 뛰어난 성능을 보였다.