[논문 리뷰] AI Fairness via Domain Adaptation

Neil Joshi, Philippe Burlina|arXiv (Cornell University)|2021. 03. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 29인용 수 9

한 줄 요약

이 논문은 AMD 진단에서 인공지능의 공정성을 향상시키기 위해 생성 모델링을 활용한 도메인 적응 방법을 제안한다. 특히, GAN 기반 프레임워크에서 잠재 공간 조작을 통해 부족한 인구집단의 데이터를 합성함으로써, 흑인 환자에 대한 AMD 진단 성능 격차를 줄인다. 이 방법은 흑인 환자에 대한 훈련 데이터를 증강함으로써 성능 격차를 완화하며, 흑인 환자에 대해 79.87%의 정확도를 기록하고, 백인 환자에 대해 85.71%의 정확도를 기록함으로써 공정성 격차를 좁히고 전체 모델의 강건성도 향상시킨다.

ABSTRACT

While deep learning (DL) approaches are reaching human-level performance for many tasks, including for diagnostics AI, the focus is now on challenges possibly affecting DL deployment, including AI privacy, domain generalization, and fairness. This last challenge is addressed in this study. Here we look at a novel method for ensuring AI fairness with respect to protected or sensitive factors. This method uses domain adaptation via training set enhancement to tackle bias-causing training data imbalance. More specifically, it uses generative models that allow the generation of more synthetic training samples for underrepresented populations. This paper applies this method to the use case of detection of age related macular degeneration (AMD). Our experiments show that starting with an originally biased AMD diagnostics model the method has the ability to improve fairness.

연구 동기 및 목표

• 의료 AI에서의 AI 공정성 문제, 특히 훈련 데이터의 불균형으로 인한 편향을 해결한다.
• 훈련 데이터셋에서 AMD를 앓는 흑인 환자의 부족한 표현을 집중적으로 다룬다.
• 예측 헤드를 변경하거나 적대적 훈련에 의존하지 않고도 모델의 공정성을 향상시키는 방법을 개발한다.
• 생성 모델링을 통한 데이터 증강이 도메인 적응을 달성하고 인구통계적 성능 격차를 줄일 수 있음을 입증한다.
• 실제 망막 영상 데이터셋(AREDS)을 기반으로 이 방법을 AMD 진단에 대해 검증한다.

제안 방법

• 부족한 인구집단, 특히 AMD를 앓는 흑인 환자에게 대해 실재적인 망막 후면도 영상을 합성하기 위해 조건부 생성 모델(StyleGAN 기반)을 사용한다.
• 이주성 속성(예: 민족)을 제어하기 위해 이미지 생성 중에 잠재 공간 조작을 수행함으로써, 인구통계적 요소에 대한 세밀한 제어를 가능하게 한다.
• 특히 AMD를 앓는 흑인 환자에 대한 샘플 수를 늘림으로써, 기존 훈련 데이터셋에 합성 이미지를 추가하여 데이터 증강을 수행한다.
• 공정성과 다양한 인구집단에 대한 일반화 능력을 향상시키기 위해, 증강된 데이터셋으로 AMD 진단 모델을 재학습한다.
• 합성 과정 중에 이미지의 정확도와 다양성을 균형 있게 유지하기 위해 생성기에서 탈락 조정 및 스타일 벡터 제어를 적용한다.
• 실제 및 합성 데이터를 모두 사용하여 표준 딥러닝 분류기(예: ResNet 또는 유사 모델)를 훈련시켜 AMD 분류를 수행한다.

실험 결과

연구 질문

• RQ1 도메인 적응을 통한 생성적 데이터 증강이 딥러닝 기반 AMD 진단 시스템의 인구통계적 편향을 줄일 수 있는가?
• RQ2 부족한 인구집단을 위한 합성 데이터 생성이 전반적인 모델 성능을 떨어뜨리지 않고 공정성을 향상시킬 수 있는가?
• RQ3 잠재 공간 조작을 통해 얼마나 정밀하게 특정 속성에 따라 제어되는 데이터 합성을 실현할 수 있는가?
• RQ4 데이터 증강 후, 인구통계적 집단 간 성능 격차(예: 백인 대 흑인)는 어떻게 변화하는가?
• RQ5 이 방법이 공정성을 향상시키면서도 진단 정확도를 유지하거나 향상시킬 수 있는 도메인 적응을 달성할 수 있는가?

주요 결과

• 기준 모델은 심각한 편향을 보였으며, 테스트 세트에서 백인 환자에 대해 80.52%의 정확도, 흑인 환자에 대해 62.99%의 정확도를 기록했다.
• 생성 모델링을 통한 데이터 증강 후, 백인 환자에 대해 85.71%의 정확도, 흑인 환자에 대해 79.87%의 정확도를 기록하여 공정성 격차가 좁혀졌다.
• 모델의 ROC AUC는 기준 시점의 0.8049에서 증강 후 0.9169로 상승하여 전반적인 진단 성능 향상이 확인되었다.
• 남은 테스트 세트(614장의 흑인 AMD 망막 영상)에서 정확도는 42.51%에서 54.23%로 상승하여, 부족한 인구집단에 대한 일반화 능력 향상이 입증되었다.
• 증강 후 인구집단 간 성능 차이의 95% 신뢰구간이 겹치게 되어 공정성 격차가 더 이상 통계적으로 유의미하지 않음을 나타냈다.
• 이 방법은 적대적 훈련이나 모델 재학습 없이도 데이터 증강을 통해 성공적으로 도메인 적응을 달성하였으며, 공정성을 향상시켰다.