[논문 리뷰] Fairness and Robustness in Invariant Learning: A Case Study in Toxicity Classification

Robert Adragna, Elliot Creager외 2명|arXiv (Cornell University)|2020. 11. 12.

Domain Adaptation and Few-Shot Learning인용 수 12

한 줄 요약

이 논문은 편향된 데이터에서 학습된 모델의 공정성을 향상시킬 수 있는가를 조사하기 위해, 편향된 상관관계를 가진 민감한 특성과 관련된 예측기의 강건성을 높이는 불변 위험 최소화(IRM) 방법이 독성 분류에서 공정성을 향상시킬 수 있는지 조사한다. IRM은 불변 예측기로 주로 댓글 길이를 식별함으로써 분포 외 정확도와 그룹 공정성 측면에서 경험적 위험 최소화(ERM)를 능가하지만, 진정으로 인과적인 특징을 학습하지는 못한다.

ABSTRACT

Robustness is of central importance in machine learning and has given rise to the fields of domain generalization and invariant learning, which are concerned with improving performance on a test distribution distinct from but related to the training distribution. In light of recent work suggesting an intimate connection between fairness and robustness, we investigate whether algorithms from robust ML can be used to improve the fairness of classifiers that are trained on biased data and tested on unbiased data. We apply Invariant Risk Minimization (IRM), a domain generalization algorithm that employs a causal discovery inspired method to find robust predictors, to the task of fairly predicting the toxicity of internet comments. We show that IRM achieves better out-of-distribution accuracy and fairness than Empirical Risk Minimization (ERM) methods, and analyze both the difficulties that arise when applying IRM in practice and the conditions under which IRM will likely be effective in this scenario. We hope that this work will inspire further studies of how robust machine learning methods relate to algorithmic fairness.

연구 동기 및 목표

• 편향된 데이터에서 학습된 모델의 공정성을 향상시킬 수 있는 강건한 기계학습 방법(예: IRM)의 잠재력을 탐색한다.
• 민감한 특성이 독성과 허위 상관관계를 가지는 경우, 환경 간의 불변성이 독성 분류의 공정성 향상에 기여하는지 평가한다.
• IRM이 진정으로 인과적인 예측기 학습에 있어 실질적인 한계를 가지며, 환경 다양성이 불변 특징 발견에 어떤 역할을 하는지 조사한다.
• 댓글 길이가 다양한 도메인에서 독성 예측에 공정하고 강건한 대체 지표로 기능할 수 있는지 평가한다.

제안 방법

• 저자는 Civil Comments 데이터셋에 대해 Invariant Risk Minimization(IRM)을 적용하여 민감한 특성의 언급과 독성 간에 허위 상관관계가 존재하는 여러 편향된 환경에서 학습한다.
• IRM은 다양한 훈련 환경 간에 일관된 성능을 유지하는 예측기를 학습함으로써 예측 행동의 불변성을 추구한다.
• 다양한 데이터 증강 및 임베딩 기법(예: FastText 단어 임베딩의 합 vs. 평균)을 적용한 표준 경험적 위험 최소화(ERM)와의 비교를 통해 방법을 평가한다.
• 임베딩 기법은 댓글 길이 정보의 역할을 분리하기 위해 사용되며, EmbedSum은 길이 정보를 유지하고 EmbedMean은 이를 제거함으로써 특징의 불변성에 대한 분석을 가능하게 한다.
• 성능 평가는 내부 분포(InD) 및 분포 외(OOD) 테스트 세트에서 평가되며, 공정성은 민감한 신분 특성에 따라 측정된다.
• Ablation 연구는 다양한 임베딩 구성 조건에서 ERM과 IRM 간의 정확도 및 공정성 지표를 비교하여 불변 특징의 기여도를 분리한다.

실험 결과

연구 질문

• RQ1 편향된 훈련 환경 간의 불변 예측기를 학습함으로써 IRM이 독성 분류의 공정성을 향상시킬 수 있는가?
• RQ2 다양한 도메인에서 댓글 길이가 독성에 대한 불변적이고 공정한 예측기로 기능할 정도로 어느 정도 유의미한가?
• RQ3 민감한 특성이 독성과 허위 상관관계를 가지는 경우, IRM이 정확도와 공정성 양면에서 ERM을 능가하는 이유는 무엇인가?
• RQ4 IRM이 의미 있는 불변 특징을 학습하지 못하는 조건는 무엇이며, 환경 다양성이 이 과정에서 어떤 역할을 하는가?
• RQ5 불변한 모델 행동이 결과에 인과관계가 없더라도 공정성과 동일시할 수 있는가?

주요 결과

• IRM은 EmbedSum 임베딩을 사용할 경우 OOD 테스트 세트에서 62.3%의 분포 외 정확도를 기록하여 ERM의 56.5%를 크게 앞서나간다.
• EmbedMean를 사용할 경우 ERM의 성능은 OOD 세트에서 12.0%로 급격히 떨어지며, 새로운 환경에서 사라지는 허위 상관관계에 의존함을 시사한다.
• EmbedMean를 사용할 경우 IRM의 InD 및 OOD 세트에서의 정확도는 모두 50.0%로 동일하며, 길이 정보가 손실된 상황에서는 불변 특징을 학습하지 못함을 확인한다.
• IRM과 ERM 간의 OOD 데이터 성능 격차는 IRM의 불변성이 강건성과 공정성 향상의 원인임을 확인한다.
• EmbedSum를 통해 인코딩된 댓글 길이가 주요 불변 특징으로 부상하며, 이는 다양한 도메인에서 독성 예측에 강건한 대체 지표가 될 수 있음을 시사한다.
• 비록 IRM의 성공이 있었지만, 진정으로 인과적인 특징을 학습하지 못함을 확인한다—댓글 길이는 독성 예측에 유용하지만 원인이 되지는 않으며, 이는 불변성이 인과성의 대체 지표로 기능할 수 있음에 대한 핵심적 한계를 드러낸다.