[논문 리뷰] Gradient Reversal Against Discrimination

Edward Raff, Jared Sylvester|arXiv (Cornell University)|2018. 07. 01.

Ethics and Social Impacts of AI참고 문헌 4인용 수 8

한 줄 요약

이 논문은 백프로파게이션 중 보호된 속성 예측기에서 유도된 기울기를 뒤집음으로써 공정한 신경망을 훈련시키는 간단하고 효과적인 방법인 Gradient Reversal Against Discrimination (GRAD)을 소개한다. GRAD는 유일한 하이퍼파rameter만을 필요로 하여 개인 및 집단의 공정성을 향상시키며, 이전 방법들보다 공정성 지표에서 뛰어난 성능을 보이며, 아키텍처 제약 없이 다중 속성 보호를 지원한다.

ABSTRACT

No methods currently exist for making arbitrary neural networks fair. In this work we introduce GRAD, a new and simplified method to producing fair neural networks that can be used for auto-encoding fair representations or directly with predictive networks. It is easy to implement and add to existing architectures, has only one (insensitive) hyper-parameter, and provides improved individual and group fairness. We use the flexibility of GRAD to demonstrate multi-attribute protection.

연구 동기 및 목표

• 임의의 아키텍처를 가진 공정한 신경망을 훈련시키는 일반화 가능한 방법의 부족을 해결한다.
• 보호된 속성과 특징 간의 숨겨진 상관관계로 인해 실패하는 '공정성-무지' 접근법의 한계를 극복한다.
• 모델 예측이 성별, 인종, 연령과 같은 보호된 속성에 대해 불변이 되도록 보장하는 방법을 개발한다.
• 예측 정확도나 공정성에 손실을 입히지 않으면서도 다중 보호된 속성을 동시에 보호할 수 있도록 한다.
• 모든 신경망 아키텍처와 호환되는 즉시 사용 가능한 솔루션을 제공한다. 이는 표준 예측 모델과 오토에인커를 포함한다.

제안 방법

• 하나의 브런치는 타깃 레이블을 예측하고, 다른 브런치는 보호된 속성을 예측하는 이중 브랜치 신경망 아키텍처를 도입한다.
• 결합 손실 함수를 사용: ℓ(y, a_p) = ℓ_t(y) + λ·ℓ_p(a_p), 여기서 λ는 정확도와 공정성 간의 트레이드오프를 조절한다.
• 공유 트렁크 네트워크로 백프로파게이션하기 전에 보호된 속성 브런치의 기울기를 -1로 곱하여 기울기를 뒤집는다.
• 이 기울기 뒤집기는 네트워크가 보호된 속성을 예측할 수 있는 표현을 학습하는 것을 억제하면서도, 타깃 예측에 대한 유용성 유지에 기여한다.
• 이 방법은 기반 모델 아키텍처에 관계없이 적용 가능하며, 예측 및 오토에인코드링 네트워크 모두에 적용할 수 있다.
• λ 값이 [50, 2000] 범위 내에서 안정적이며, 실질적으로 하이퍼파ram터 튜닝이 필요하지 않다.

실험 결과

연구 질문

• RQ1 다양한 아키텍처에서 아키텍처 재설계 없이도 단일 간단한 방법으로 공정한 신경망을 훈련시킬 수 있는가?
• RQ2 보호된 속성 예측기에서 기울기를 뒤집는 것이 모델 편향을 효과적으로 감소시키면서도 높은 예측 정확도를 유지하는가?
• RQ3 GRAD는 성별과 인종과 같은 다중 보호된 속성을 동시에 보호하면서도, 개별 속성에 대한 차별을 증가시키지 않는가?
• RQ4 GRAD의 성능은 하이퍼파rameter λ의 선택에 얼마나 민감한가?
• RQ5 GRAD는 차별, 델타, 일관성과 같은 공정성 지표에서 기존의 공정성 방법들을 능가하는가?

주요 결과

• GRAD는 상태의 최고 수준의 공정성 성능를 달성하며, Adult, Health, Diabetes, German 등의 다양한 데이터셋에서 일관되게 차별을 감소시킨다.
• Adult 데이터셋에서 GRAD-Pred는 인종에 대해 0.0028의 차별 스코어를 기록했고, 성별에 대해서는 0.0034로 기준 모델보다 유의미하게 낮았다.
• GRAD는 Adult 데이터셋에서 일관성(Consistency)을 0.7180으로 높였으며, 이는 다음으로 우수한 방법(0.6464)을 능가하며 개인 수준의 공정성 향상을 보여준다.
• Diabetes 데이터셋에서 인종과 성별을 동시에 보호할 경우, GRAD는 차별을 인종에 대해 0.0055, 성별에 대해 0.0030로 낮추었고, Delta = 0.5723을 기록하여 강력한 공정성과 정확성의 균형을 확보했다.
• GRAD의 성능은 λ에 대해 강건하며, λ ∈ [1, 2000] 범위에서 안정적인 결과를 보이며, 극단적인 값에서도 정확도나 공정성에 유의미한 저하가 없었다.
• 한 속성(예: 인종)만 보호하고 다른 속성(예: 성별)은 무시할 경우, 보호되지 않은 속성에서 차별이 증가하는 것을 확인하여, 다중 속성 보호의 필요성을 입증했다.