[논문 리뷰] FAIRER: Fairness as Decision Rationale Alignment

Tianlin Li, Qing Guo외 4명|arXiv (Cornell University)|2023. 06. 27.

Ethics and Social Impacts of AI인용 수 5

한 줄 요약

이 논문은 FAIRER를 제안하며, 이는 정당성 기반의 일관성 정렬을 통해 딥 네트워크 추론 중 하위 집단 간에 일관된 뉴런 수준의 영향력을 확보하는 새로운 정의의 정의적 프레임워크이다. 중간 뉴런 반응을 정규화하기 위해 기울기 유도 평등 정렬을 도입함으로써 FAIRER는 정확도 손실 최소화로 인해 현저히 향상된 정의를 달성하며, 최종 예측뿐만 아니라 결정 정당성의 명시적 정렬을 통해 다양한 데이터셋에서 기존 방법들을 능가한다.

ABSTRACT

Deep neural networks (DNNs) have made significant progress, but often suffer from fairness issues, as deep models typically show distinct accuracy differences among certain subgroups (e.g., males and females). Existing research addresses this critical issue by employing fairness-aware loss functions to constrain the last-layer outputs and directly regularize DNNs. Although the fairness of DNNs is improved, it is unclear how the trained network makes a fair prediction, which limits future fairness improvements. In this paper, we investigate fairness from the perspective of decision rationale and define the parameter parity score to characterize the fair decision process of networks by analyzing neuron influence in various subgroups. Extensive empirical studies show that the unfair issue could arise from the unaligned decision rationales of subgroups. Existing fairness regularization terms fail to achieve decision rationale alignment because they only constrain last-layer outputs while ignoring intermediate neuron alignment. To address the issue, we formulate the fairness as a new task, i.e., decision rationale alignment that requires DNNs' neurons to have consistent responses on subgroups at both intermediate processes and the final prediction. To make this idea practical during optimization, we relax the naive objective function and propose gradient-guided parity alignment, which encourages gradient-weighted consistency of neurons across subgroups. Extensive experiments on a variety of datasets show that our method can significantly enhance fairness while sustaining a high level of accuracy and outperforming other approaches by a wide margin.

연구 동기 및 목표

• 정의 정규화 딥 네트워크에서의 해석 가능성 부족 문제를 해결하기 위해, 결정이 어떻게 내려지는지 이해하지 못한 채 정의가 향상되는 현상에 대응한다.
• 정의가 본질적으로 하위 집단 간에 일관된 결정 정당성—즉, 뉴런 수준의 영향력—에 의해 결정되는지 조사한다.
• 최종 예측뿐만 아니라 중간 단계의 결정 정당성을 정렬하는 새로운 정의적 패러다임을 제안한다.
• 실시간 정의 정당성 정렬이 가능하면서도 과도한 계산 비용 없이 구현 가능한 실용적인 훈련 시간 정규화 방법을 개발한다.

제안 방법

• 중간 뉴런을 제거했을 때 손실의 변화를 측정하여 하위 집단 간 결정 정당성 이동을 정량화하는 데 사용하는 파라미터 평등 점수를 도입한다.
• 중간층과 최종층 모두에서 하위 집단 간 일관된 뉴런 영향력을 요구하는 새로운 정의 목적 함수인 결정 정당성 정렬(DRAlign)을 제안한다.
• 모든 데이터셋 계산이 아닌 샘플별 기울기를 사용하여 뉴런 영향력을 추정하는 방식으로, 간단한 DRAlign 목적의 완화된 형태인 기울기 유도 평등 정렬을 개발한다.
• 두 번째 차수 기울기를 사용하여 훈련 과정에 정규화 항을 통합함으로써 하위 집단 간 일관된 뉴런 반응을 장려한다.
• 표본 기반 추정 전략을 활용하여 훈련 중 계산 가능성을 확보하고, 표준 딥 러닝 최적화와의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 다른 하위 집단 간 뉴런의 결정 정당성을 정렬함으로써 딥 네트워크의 정의를 향상시킬 수 있는가?
• RQ2 기존의 정의 정규화 방법은 최종 예측의 정의를 향상시키지만, 왜 완전한 편향 제거에 실패하는가?
• RQ3 중간 뉴런 영향력을 기반으로 한 훈련 시간 정규화가 마지막 레이어만 제약하는 것보다 더 강력한 정의를 달성할 수 있는가?
• RQ4 정의 정당성 정렬을 어떻게 실현 가능한 계산 비용 없이 딥 네트워크 훈련 중에 구현할 수 있는가?

주요 결과

• 파라미터 평등 점수는 모델의 정의와 강한 상관관계를 보이며, 하위 집단 간 일관되지 않은 결정 정당성이 불공평성의 근본 원인임을 시사한다.
• 기존의 정의 정규화 방법은 최종 레이어 출력만 제약하기 때문에 결정 정당성의 정렬이 부분적으로에 그친다.
• FAIRER는 세 가지 공개 데이터셋에서 최첨단 기법보다 현저히 높은 정의를 달성하면서도 정확도를 유지하거나 略로 향상시킨다.
• 기울기 유도 평등 정렬 방법은 각 단계에서 전체 데이터셋 재평가가 필요 없이 효과적이고 확장 가능한 훈련 시간 정의 정당성 정렬 최적화를 가능하게 한다.