[논문 리뷰] Fairness with Continuous Optimal Transport

Silvia Chiappa, Aldo Pacchiano|arXiv (Cornell University)|2021. 01. 06.

Optimization and Search Problems참고 문헌 40인용 수 4

한 줄 요약

이 논문은 연속 최적 운반(COT)을 기반으로 한 확률적 경사 하강 편향 방지 방법을 제안하며, 이는 이중 공식을 사용하여 기계 학습에서의 공정성 향상에 기여한다. 제한된 데이터 하에서 이산 OT 방법보다 뛰어난 성능을 보이며, 실세계 구현 환경에서 변화하는 편향 수준에 지속적으로 적응할 수 있어, 동적인 데이터 조건에서 뛰어난 안정성과 성능을 입증한다.

ABSTRACT

Whilst optimal transport (OT) is increasingly being recognized as a powerful and flexible approach for dealing with fairness issues, current OT fairness methods are confined to the use of discrete OT. In this paper, we leverage recent advances from the OT literature to introduce a stochastic-gradient fairness method based on a dual formulation of continuous OT. We show that this method gives superior performance to discrete OT methods when little data is available to solve the OT problem, and similar performance otherwise. We also show that both continuous and discrete OT methods are able to continually adjust the model parameters to adapt to different levels of unfairness that might occur in real-world applications of ML systems.

연구 동기 및 목표

• 제한된 데이터 조건에서 이산 최적 운반(OT)이 공정성 인식 기계 학습에 미치는 한계를 해결하기 위해.
• 변동하는 편향 수준에 맞춰 모델 파라미터를 동적으로 실시간으로 적응시킬 수 있는 연속 OT 기반 방법을 개발하기 위해.
• 연속 OT가 이산 OT보다 더 높은 데이터 효율성을 확보하면서도 높은 공정성-정확도 트레이드오프를 유지할 수 있음을 입증하기 위해.
• 모델을 다시 처음부터 재학습하지 않고도 새로운 편향 수준에 맞춰 후행적으로 조정할 수 있음을 보여주기 위해.
• 실세계 기계 학습 시스템에서 변화하는 데이터 분포에 대해 이 방법의 강건성과 적응 가능성 검증하기 위해.

제안 방법

• 모델 출력의 연속 분포에 직접 공정성 제약 조건을 계산하기 위해 연속 최적 운반(COT)의 이중 공식을 사용한다.
• 확률적 경사 하강법을 사용하여 모델 파라미터를 최적화하면서, OT 거리에 의해 민감한 특성와 모델 예측 간의 통계적 독립성을 강제한다.
• 분포의 이산화를 피함으로써, 낮은 데이터 규모 환경에서 운반 비용의 더 정확하고 안정적인 추정이 가능해진다.
• OT 공식의 이중 변수를 반복적으로 갱신하여 모델 파라미터가 더 공정한 출력 분포로 이동하도록 이끈다.
• 분류 및 회귀 작업 모두에 호환되며, 민족적 평등성 이외의 공정성 기준으로도 확장 가능하도록 설계되어 있다.
• 최근 연속 OT 최적화 기술의 발전을 활용하여, 최소한의 계산 오버헤드로 효율적이고 확장 가능한 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 제한된 훈련 데이터에서 연속 최적 운반(OT)이 이산 OT보다 공정성 최적화 성능에서 뛰어나게 되는가?
• RQ2 실세계 데이터 분포에서 편향 수준이 변화할 때, 연속 OT 기반 방법이 모델 파라미터를 얼마나 잘 적응시키는가?
• RQ3 충분한 데이터가 있을 경우, 연속 OT 방법이 이산 OT와 유사한 공정성-정확도 트레이드오프를 유지하는가?
• RQ4 모델을 다시 처음부터 학습하지 않고도 새로운 편향 수준에 맞춰 후행적으로 조정할 수 있는가?
• RQ5 연속 OT 공식의 이중 변수는 훈련 중 분포 일치 변화를 어떻게 반영하는가?

주요 결과

• 제한된 데이터에서 연속 OT 방법은 초기 훈련 단계에서 표본 수가 적을 경우 이산 OT보다 뛰어난 성능을 보인다.
• 충분한 데이터가 있을 경우, 두 방법 모두 워샤르스타인 거리(Wass1)로 측정된 공정성 성능에서 유사한 결과를 얻는다.
• 연속 OT 방법은 편향 수준 변화에 매우 신속하게 적응하며, 파라미터가 이동한 후 낮은 Wass1 값을 도달하기 위해 더 적은 업데이트 수를 요구한다.
• 안정적인 수렴을 보이며, 특히 출력 분포의 꼬리 부분에서 분포 이동을 정확하게 반영하는 이중 변수를 제공한다.
• 초기 파라미터 조정 이후, 새로운 편향 수준에 대해 신속하게 재적응할 수 있는 파rameter 공간 영역에 도달함으로써 강력한 일반화 및 전이 가능성의 가능성을 보여준다.
• 결과적으로 연속 OT는 다양한 편향 수준에 대해 후행적 모델 校정을 가능하게 하여, 실세계 시스템에서의 동적 공정성 관리 지원에 기여한다.