[논문 리뷰] FR-Train: A Mutual Information-Based Approach to Fair and Robust Training

Yuji Roh, Kangwook Lee외 2명|arXiv (Cornell University)|2020. 02. 24.

Machine Learning and Algorithms참고 문헌 45인용 수 12

한 줄 요약

FR-Train는 두 개의 판별기(일반적인 예측과 민감한 특성 간의 독립성 확보를 위한 fairness 판별기, 청소된 검증 데이터와의 일관성 확보를 위한 robustness 판별기)를 통해 상호정보량을 활용하여 모델의 공정성과 데이터 품질 훼손에 대한 내성을 동시에 최적화하는 새로운 GAN 기반 프레임워크이다. 공격을 당한 상황에서도 높은 정확도와 공정성을 유지를 하며, 기존의 공정성 방법들이 데이터 오염에 취약해 성능이 저하되는 것과는 대조적으로 뛰어난 성능을 보인다.

ABSTRACT

Trustworthy AI is a critical issue in machine learning where, in addition to training a model that is accurate, one must consider both fair and robust training in the presence of data bias and poisoning. However, the existing model fairness techniques mistakenly view poisoned data as an additional bias to be fixed, resulting in severe performance degradation. To address this problem, we propose FR-Train, which holistically performs fair and robust model training. We provide a mutual information-based interpretation of an existing adversarial training-based fairness-only method, and apply this idea to architect an additional discriminator that can identify poisoned data using a clean validation set and reduce its influence. In our experiments, FR-Train shows almost no decrease in fairness and accuracy in the presence of data poisoning by both mitigating the bias and defending against poisoning. We also demonstrate how to construct clean validation sets using crowdsourcing, and release new benchmark datasets.

연구 동기 및 목표

• 신뢰할 수 있는 AI 모델을 훈련시켜 공정성과 데이터 품질 훼손에 대한 내성이라는 핵심 도전 과제를 동시에 해결한다.
• 기존의 공정성 방법들이 데이터 오염에 취약하여 정확도-공정성 트레이드오프가 악화됨을 규명한다.
• 공정성과 내성을 동시에 개선하기 위해 상호정보량을 활용하는 통합 훈련 프레임워크를 제안한다.
• 청소된 검증 세트를 인류 기반 캐릭터링을 통해 구축하여 내성성 캘리브레이션을 지원할 수 있음을 입증한다.
• 공정하고 내성적인 학습 분야의 재현 가능 연구를 지원하기 위해 새로운 벤치마크 데이터셋을 공개한다.

제안 방법

• FR-Train는 공정성에 대한 상호정보량 기반의 해석을 도입하여, 예측과 민감한 특성 간의 독립성을 강제하는 판별기를 도입함으로써 적대적 편향 제거 기법을 확장한다.
• 두 번째 판별기를 도입하여, 훈련 데이터의 예측과 청소된 검증 세트의 레이블 간의 상호정보량을 이용해 훈련 데이터 예측의 일관성을 확보한다.
• 내성성 판별기는 훈련 예측과 청소된 검증 레이블 간의 상호정보량을 최소화하도록 훈련되어, 데이터 품질에 대한 기준으로 작용한다.
• 프레임워크는 생성기(분류기)와 두 판별기를 함께 적대적 훈련을 통해 최적화하여 종단 간의 공정하고 내성적인 학습을 가능하게 한다.
• 내성성 판별기의 출력을 바탕으로 샘플 재가중치를 적용하여, 오염된 환경에서도 공정성과 정확도를 추가로 향상시킨다.
• 청소된 검증 세트는 아마존 메카니컬 터크를 통해 인류 기반 캐릭터링을 통해 구축되어 내성성 캘리브레이션에 신뢰할 수 있는 기준을 제공한다.

실험 결과

연구 질문

• RQ1 기존의 공정성 방법들은 데이터 품질 훼손 공격 상황에서도 성능을 유지할 수 있는가?
• RQ2 상호정보량을 어떻게 활용하여 모델 훈련 과정에서 공정성과 내성을 동시에 최적화할 수 있는가?
• RQ3 인류 기반 캐릭터링을 통해 청소된 검증 세트를 효과적으로 구축할 수 있는가?
• RQ4 공정성과 내성성 훈련을 하나의 프레임워크에 통합하면 오염 상황에서 정확도-공정성 트레이드오프가 향상되는가?
• RQ5 청소된 검증 세트가 작거나 존재하지 않을 경우 FR-Train도 여전히 공정성과 정확도를 유지할 수 있는가?

주요 결과

• 기존의 공정성 방법, 예를 들어 적대적 편향 제거 기법은 데이터 품질 훼손 공격를 받을 경우 심각한 성능 저하를 겪으며, 정확도가 0.8에서 0.6으로 떨어지지만 공정성은 그대로 유지된다.
• FR-Train는 오염 공격 상황에서도 거의 완벽한 공정성과 최소한의 정확도 저하(예: 5% 이내의 감소)를 유지하여 내성성을 입증한다.
• 상호정보량 기반의 내성성 판별기는 오염된 훈련 예제를 효과적으로 식별하고 그 영향을 감소시킨다.
• 작거나 불완전한 청소된 검증 세트가 존재하더라도 프레임워크는 효과적으로 기능하여 실용적인 적응성을 보여준다.
• FR-Train는 데이터 정제 기법과 결합했을 때 기존의 베이스라인 공정성 방법보다 뛰어난 성능을 보이며, 오염 상황에서의 성능 저하를 방지한다.
• 저자들은 향후 공정하고 내성적인 학습 분야의 연구를 지원하기 위해 인류 기반 캐릭터링을 통해 구축한 두 개의 새로운 벤치마크 데이터셋을 공개한다.