[논문 리뷰] Fast Fair Regression via Efficient Approximations of Mutual Information

Daniel Steinberg, Alistair Reid외 4명|arXiv (Cornell University)|2020. 02. 14.

Adversarial Robustness in Machine Learning참고 문헌 25인용 수 9

한 줄 요약

이 논문은 조건부 상호정보량을 효율적으로 근사하여 회귀 모델에서 그룹 형평성을 강제하는 데 사용하는 빠르고 효율적인 방법을 제안한다. 이 방법은 독립성, 분離성, 충분성 기준을 정규화하여 모델을 정규화하는 데 조건부 상호정보량을 활용한다. 속도가 빠르지만, 기존 방법들보다 계산 효율성이 뛰어나면서도 강력한 형평성 성능을 유지하며, 최신 기술 수준의 정확도-형평성 트레이드오프를 달성한다.

ABSTRACT

Most work in algorithmic fairness to date has focused on discrete outcomes, such as deciding whether to grant someone a loan or not. In these classification settings, group fairness criteria such as independence, separation and sufficiency can be measured directly by comparing rates of outcomes between subpopulations. Many important problems however require the prediction of a real-valued outcome, such as a risk score or insurance premium. In such regression settings, measuring group fairness criteria is computationally challenging, as it requires estimating information-theoretic divergences between conditional probability density functions. This paper introduces fast approximations of the independence, separation and sufficiency group fairness criteria for regression models from their (conditional) mutual information definitions, and uses such approximations as regularisers to enforce fairness within a regularised risk minimisation framework. Experiments in real-world datasets indicate that in spite of its superior computational efficiency our algorithm still displays state-of-the-art accuracy/fairness tradeoffs.

연구 동기 및 목표

• 기존의 조건부 밀도 발산 추정에 의존하는 바탕으로 인해 계산적으로 비가능한 회귀 설정에서 그룹 형평성을 측정하고 강제하는 데 도전하는 것.
• 회귀 모델에서 독립성, 분리성, 충분성 형평성 기준을 표현하는 데 사용되는 빠르고 확장 가능한 상호정보량 근사 기법을 개발하는 것.
• 이러한 근사 기법을 정규화된 위험 최소화 프레임워크 내의 정규화 항으로 통합하여 모델 정확도와 형평성 사이의 효율적 트레이드오프를 가능하게 하는 것.
• 실세계 데이터셋을 대상으로 최신 기술 수준의 방법들과의 비교를 통해 방법의 성능을 경험적으로 검증하는 것 — 특히 형평성과 계산 효율성에 중점을 두어.

제안 방법

• 이 방법은 예측값, 타깃값, 민감한 속성의 연합 분포에 대한 커널화된 표현을 기반으로 훈련된 선형 보조 모델(LSPC)을 사용하여 조건부 상호정보량을 근사한다.
• 독립성, 분리성, 충분성과 같은 형평성 제약 조건을 정보이론적 정의에서 유도된 정규화된 상호정보량 기반의 정규화 항으로 설정한다.
• LSPC 근사 기법은 복잡한 밀도 추정을 피하기 때문에 기존 방법들이 2차원(O(n²))으로 확장되는 것과는 달리 선형 시간(O(n)) 계산이 가능하게 한다.
• 이 방법은 모델에 종속적이지 않으며, 어떤 회귀 모델에도 정규화 항을 추가함으로써 정규화된 위험 최소화 목표 함수에 적용할 수 있다.
• 정확도를 제어된 환경에서 상호정보량 근사의 정확도 평가를 위해 몬테카를로 통합과 매개변수화된 연합 분포를 사용한다.
• 실세계 데이터셋을 사용하여 방법을 평가하며, 형평성은 세 핵심 기준에 직접 대조하고, 계산 효율성은 최신 기술 수준의 대안들과 비교한다.

실험 결과

연구 질문

• RQ1 빠르고 효율적인 조건부 상호정보량 근사 기법을 사용하여 정확도를 희생시키지 않고도 회귀 모델에서 형평성을 강제할 수 있는가?
• RQ2 이러한 근사 기법은 독립성, 분리성, 충분성과 같은 형평성 기준에 필요한 진짜 상호정보량 값을 얼마나 잘 포착하는가?
• RQ3 기존의 형평성 정규화 항과 비교했을 때 제안된 방법의 계산 효율성은 어떠한가?
• RQ4 최신 기술 수준의 방법들과 비교했을 때 이 방법은 경쟁 가능한 정확도-형평성 트레이드오프를 달성하는가?

주요 결과

• 제안된 LSPC 근사 기법은 정확도와 계산 효율성 사이에 유리한 균형을 이루며, 이전 방법들보다 O(n²) 대비 선형 확장(O(n))을 보인다.
• LSPC 근사 기법은 진짜 상호정보량 값에 대해 합리적인 정밀도를 보이며, 100개의 테스트 시나리오에서 KSG나 푸리에 특징을 사용한 로지스틱 회귀와 유사한 성능을 보였다.
• 상당히 더 빠르지만, 최신 기술 수준의 방법과 유사한 정확도-형평성 트레이드오프를 달성하여 강력한 실용적 성능을 입증했다.
• 이 방법은 회귀 설정에서 정보이론적 형평성 기준의 사용을 성공적으로 가능하게 하였으며, 독립성, 분리성, 충분성에 대한 트레이드오프를 종합적으로 경험적으로 조사한 최초의 연구이다.