[논문 리뷰] Learning fair representation with a parametric integral probability metric

Dong Ha Kim, Kunwoong Kim외 3명|arXiv (Cornell University)|2022. 02. 07.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 논문은 시그모이드 기반 디스crimin레이터 가족을 사용하는 매개변수화된 적분 확률 거리측도(IPM)를 활용한 새로운 적대적 훈련 방법인 sIPM-LFR를 제안한다. 이는 표현의 공정성과 최종 예측 모델의 공정성 간 이론적 연결 고리를 제공하며, 뛰어난 계산 효율성과 안정성을 확보하고, 다양한 데이터셋과 모델에서 기존의 LFR 방법들보다 공정성-정확도 트레이드오프에서 뛰어난 성능을 보인다.

ABSTRACT

As they have a vital effect on social decision-making, AI algorithms should be not only accurate but also fair. Among various algorithms for fairness AI, learning fair representation (LFR), whose goal is to find a fair representation with respect to sensitive variables such as gender and race, has received much attention. For LFR, the adversarial training scheme is popularly employed as is done in the generative adversarial network type algorithms. The choice of a discriminator, however, is done heuristically without justification. In this paper, we propose a new adversarial training scheme for LFR, where the integral probability metric (IPM) with a specific parametric family of discriminators is used. The most notable result of the proposed LFR algorithm is its theoretical guarantee about the fairness of the final prediction model, which has not been considered yet. That is, we derive theoretical relations between the fairness of representation and the fairness of the prediction model built on the top of the representation (i.e., using the representation as the input). Moreover, by numerical experiments, we show that our proposed LFR algorithm is computationally lighter and more stable, and the final prediction model is competitive or superior to other LFR algorithms using more complex discriminators.

연구 동기 및 목표

• 기존의 공정한 표현 학습(LFR) 방법들에서 표현의 공정성과 최종 예측 모델의 공정성 간 이론적 연결이 부족한 문제를 해결하기 위해.
• 기계적 딥 뉴럴 네트워크 선택을 넘어선 원칙적인, 계산 효율적인 디스crimin레이터 아키텍처를 개발하여 LFR에서의 적대적 훈련을 위해.
• 학습된 표현의 공정성이 최종 예측 모델의 공정성으로 이어지도록 보장하기 위해.
• 복잡한 디스crimin레이터를 사용하는 기존의 LFR 알고리즘에 비해 훈련 안정성을 향상시키고 계산 비용을 감소시키기 위해.
• 다양한 데이터셋과 예측 모델에서 제안된 방법이 경쟁적 또는 더 나은 공정성-정확도 트레이드오프를 달성하는 것을 경험적으로 검증하기 위해.

제안 방법

• 적대적 훈련에서 일반적인 딥 뉴럴 네트워크 대신 시그모이드 함수 기반의 매개변수화된 디스crimin레이터 가족을 제안하여 특정한 적분 확률 거리측도(IPM)를 정의한다.
• 오토인코더 기반의 LFR 프레임워크에서 IPM을 공정성 정규화항으로 사용하며, 인코더가 민감 집단의 분포 간 IPM을 최소화하는 표현을 학습하도록 한다.
• 시그모이드 기반 디스crimin레이터를 통한 IPM의 미분 가능하고 닫힌 형태의 근사치를 도입하여 안정적이고 효율적인 최적화를 가능하게 한다.
• 이중 단계 훈련 과정을 적용한다: 먼저 재구성 손실을 사용해 오토인코더를 사전 훈련하고, 이후 매개변수화된 IPM을 사용해 표현과 디스crimin레이터를 함께 최적화한다.
• 공정성과 정확도를 평가하기 위해 여러 데이터셋(Adult, COMPAS, Health)과 예측 모델(선형, SVM, 신경망)에 방법을 적용한다.
• IPM을 통해 공정성 수준을 제어하고, 초매개변수 λ를 통해 공정성과 정확성 간의 체계적 트레이드오프를 가능하게 한다.

실험 결과

연구 질문

• RQ1 학습된 표현의 공정성은 그 위에 구축된 최종 예측 모델의 공정성과 어떻게 관련이 있는가?
• RQ2 시그모이드 기반과 같은 단순한 매개변수화된 디스crimin레이터 가족이 복잡한 딥 뉴럴 네트워크보다 LFR에서 더 강력한 이론적 공정성 보장을 제공할 수 있는가?
• RQ3 매개변수화된 IPM을 사용할 경우, 기존의 LFR 방법들에 비해 더 안정적이고 계산 효율적인 훈련이 이루어지는가?
• RQ4 제안된 방법은 LAFTR 및 FVAE와 같은 최첨단 LFR 알고리즘보다 더 나은 공정성-정확도 트레이드오프를 달성할 수 있는가?
• RQ5 제안된 방법의 성능은 표현 차원 m의 선택에 얼마나 민감한가?

주요 결과

• 제안된 sIPM-LFR 방법은 최종 예측 모델의 공정성이 표현의 공정성에 의해 상한선으로 제약받는 이론적 보장을 확보하여, 표현의 공정성과 모델의 공정성 간 직접적인 연결 고리를 수립한다.
• LAFTR 대비 약 20%의 계산 시간 감소를 기록하여 뛰어난 계산 효율성을 입증한다.
• 표현 차원 m의 선택에 대해 더 민감하지 않음을 입증하였으며, 다양한 m 값에서 안정적인 파레토 프론트 성능을 보였다.
• 공정성-정확도 트레이드오프 비교에서 sIPM-LFR는 항상 LAFTR 및 FVAE를 능가하거나 동등하게 유지하며, DP, MDP, SDP 공정성 지표에서 더 낮은 표준편차와 더 나은 중앙값 성능을 보였다.
• 모든 데이터셋과 모델에서 ΔDP, ΔMDP, ΔSDP 값이 낮게 유지되어 더 강력한 공정성을 나타내며, 예측 정확도를 유지하거나 향상시켰다.
• 이론적 분석을 통해 FVAE에서 사용하는 MMD가 제안된 sIPM에 의해 상한선으로 제약됨을 보여주었으며, 이는 sIPM을 제어함으로써 MMD 감소가 보장됨을 의미하여 방법의 공정성에 대한 강건성을 검증한다.