[논문 리뷰] InfoFair: Information-Theoretic Intersectional Fairness

Jian Kang, Tiankai Xie외 3명|arXiv (Cornell University)|2021. 05. 24.

Ethics and Social Impacts of AI참고 문헌 37인용 수 4

한 줄 요약

이 논문은 정보 이론적 프레임워크인 InfoFair를 제안하며, 다양한 민감한 속성의 교차를 고려한 상호의존성 공정성(intersectional fairness)을 보장하기 위해 모델 예측과 다중 민감 속성의 결합 벡터 간 상호정보량(mutual information)을 최소화한다. 이 방법은 변분 표현을 활용하여 상호정보량을 추정함으로써 다양한 학습 과제에서 경량화된 정확도 손실로도 엔드 투 엔드, 기울기 기반의 편향 제거를 가능하게 하며, 실제 데이터셋에서 강력한 공정성 향상을 입증한다.

ABSTRACT

Algorithmic fairness is becoming increasingly important in data mining and machine learning. Among others, a foundational notation is group fairness. The vast majority of the existing works on group fairness, with a few exceptions, primarily focus on debiasing with respect to a single sensitive attribute, despite the fact that the co-existence of multiple sensitive attributes (e.g., gender, race, marital status, etc.) in the real-world is commonplace. As such, methods that can ensure a fair learning outcome with respect to all sensitive attributes of concern simultaneously need to be developed. In this paper, we study the problem of information-theoretic intersectional fairness (InfoFair), where statistical parity, a representative group fairness measure, is guaranteed among demographic groups formed by multiple sensitive attributes of interest. We formulate it as a mutual information minimization problem and propose a generic end-to-end algorithmic framework to solve it. The key idea is to leverage a variational representation of mutual information, which considers the variational distribution between learning outcomes and sensitive attributes, as well as the density ratio between the variational and the original distributions. Our proposed framework is generalizable to many different settings, including other statistical notions of fairness, and could handle any type of learning task equipped with a gradient-based optimizer. Empirical evaluations in the fair classification task on three real-world datasets demonstrate that our proposed framework can effectively debias the classification results with minimal impact to the classification accuracy.

연구 동기 및 목표

• 기존의 단일 민감한 속성에 집중하는 군 공정성 방법들이 다중 민감 속성의 교차를 다루지 못하는 격차를 해결하기 위해.
• 다양한 민감한 속성의 조합으로 형성된 모든 민족적 하위군에서 통계적 평등성을 직접 최적화하는 일반화 가능한 엔드 투 엔드 프레임워크를 개발하기 위해.
• 이전 방법들이 사용하는 대체 제약 조건의 한계와 불안정한 성능을 극복하기 위해, 예측과 결합된 민감한 속성 벡터 간 상호정보량을 직접 최소화함으로써.
• 특히 복잡한 실제 학습 과제에서 정확도를 희생시키지 않고도 공정성을 확보하기 위해.
• 미래 연구에서 이론적 적용 범위를 이진 또는 이산적 속성 외에도 연속적인 민감한 속성(예: 나이, 소득 등)으로 확장하기 위해.

제안 방법

• 모든 민감한 속성을 하나의 결합 벡터로 모델링하여 교차 공정성에 적합한 세분화된 민족적 하위군을 정의한다.
• 공정성 목적 함수를 모델 예측과 결합된 민감한 속성 벡터 간 상호정보량 최소화로 설정한다.
• 변분 하한(lower bound)을 사용하여 상호정보량을 추정하며, 변분 분포와 밀도 비율 추정을 통합하여 미분 가능한 최적화를 가능하게 한다.
• 딥 네ural 네트워크와 기울기 기반 최적화를 활용하여, 어떤 미분 가능한 학습 과제도에 쉽게 통합할 수 있다.
• 소수의 수정만으로도 등가 오차( equalized odds) 및 동등 기회(equality of opportunity)와 같은 다른 공정성 개념으로도 일반화 가능하다.
• 고차원 공간에서 효율적인 상호정보량 추정을 위해 MINE나 infoNCE와 같은 신경망 추정기(neural estimators)를 사용한다.

실험 결과

연구 질문

• RQ1 다양한 민감한 속성의 교차로 형성된 모든 민족적 하위군에서 상호정보량 최소화가 통계적 평등성을 효과적으로 강제할 수 있는가?
• RQ2 제안된 변분 상호정보량 프레임워크는 기존의 공정성 방법 대비 공정성-정확도 트레이드오프 측면에서 어떻게 비교되는가?
• RQ3 이 프레임워크는 다양한 학습 과제와 공정성 정의에 얼마나 일반화될 수 있는가?
• RQ4 모델이 데이터 분포 관계를 완벽하게 파악하지 못할 경우, 이 방법은 대체 제약 조건을 사용하는 방법보다 편향을 더 효과적으로 완화하는가?
• RQ5 이 프레임워크는 나이나 소득과 같은 연속적인 민감한 속성도 처리할 수 있도록 확장될 수 있는가?

주요 결과

• InfoFair 프레임워크는 분류 과제에서 상호의존적 민족적 하위군의 편향을 크게 감소시키며, 분류 정확도에 거의 영향을 주지 않는다.
• 세 개의 실제 데이터셋에 대한 실증 평가 결과, 인종, 성별, 결혼 상태와 같은 다수의 민감한 속성에서 일관된 공정성 향상이 관찰되었다.
• 특히 모델 용량이 제한적이거나 데이터 분포가 복잡한 경우, 대체 제약 조건에 의존하는 기존 방법보다 성능이 뛰어나다.
• 모델이 진정한 데이터 분포를 완벽하게 파악하지 못하더라도 프레임워크는 강력한 성능 유지를 유지하며, 근사 오차에 대해 뛰어난 내성성을 보인다.
• 이 방법은 이진 분류를 넘어서 추천 시스템 등 다양한 학습 과제로의 적용 가능성이 높아 보이며, 일반화 능력이 뛰어나다.
• 초기 결과에 따르면 이 프레임워크는 연속적인 민감한 속성으로의 확장이 가능할 것으로 보이나, 이는 향후 연구의 열린 과제로 남아 있다.