[논문 리뷰] Understanding Bias in Machine Learning

Jindong Gu, Daniela Oelke|arXiv (Cornell University)|2019. 09. 02.

Explainable Artificial Intelligence (XAI)참고 문헌 19인용 수 15

한 줄 요약

이 논문은 훈련 데이터의 편향이 기계 학습 모델으로 어떻게 전파되는지 설명하며, 공변량 이동, 표본 선택 편향, 클래스 불균형과 같은 데이터 편향이 모델의 공정성과 성능에 직접적인 영향을 미친다는 것을 상호작용 가능한 시각화를 통해 입증한다. 고도로 발전한 모델을 사용하더라도 편향된 데이터는 차별적인 결과를 초래하며, 이는 배포 이전에 편향을 감지하고 제거하기 위해 도메인 전문가와 머신러닝 전문가 간의 협업이 필수적임을 강조한다.

ABSTRACT

Bias is known to be an impediment to fair decisions in many domains such as human resources, the public sector, health care etc. Recently, hope has been expressed that the use of machine learning methods for taking such decisions would diminish or even resolve the problem. At the same time, machine learning experts warn that machine learning models can be biased as well. In this article, our goal is to explain the issue of bias in machine learning from a technical perspective and to illustrate the impact that biased data can have on a machine learning model. To reach such a goal, we develop interactive plots to visualizing the bias learned from synthetic data.

연구 동기 및 목표

• 데이터 분포 불일치에서 기인하는 기계 학습의 편향 기술적 원인을 설명하는 것.
• 공변량 이동, 표본 선택 편향, 클래스 불균형과 같은 다양한 유형의 데이터 편향이 모델 행동에 어떻게 영향을 미치는지 시각화하는 것.
• 상호작용 가능한 시각화를 통해 훈련 데이터에 편향이 있으면 모델 예측도 편향됨을 입증하는 것.
• 사전에 편향을 감지하고 완화하기 위해 도메인 전문가와 머신러닝 전문가 간의 협업 및 데이터 점검을 촉진하는 것.
• 기계 학습이 본질적으로 편향을 줄인다고 가정하는 것을 도전하며, 오히려 기존 데이터 편향을 모델이 유전하고 악화시킬 수 있음을 보여주는 것.

제안 방법

• 저자는 제어된 환경에서 실제 세계의 편향 상황을 시뮬레이션하기 위해 시뮬레이션 데이터셋을 사용한다.
• 사용자가 데이터 분포 비율을 조정할 수 있도록 모델 예측에 대한 편향의 영향을 보여주는 상호작용 가능한 시각화 도구를 개발한다.
• 인사 관리 응용 분야에서의 실제 의사결정 과정을 시뮬레이션하기 위해 편향된 데이터로 훈련된 신경망 모델을 사용한다.
• 파이 차트와 특성 중요도 플롯을 사용하여 다양한 데이터 분포에서의 모델 예측 비율과 특성 중요도를 시각화한다.
• 클래스 불균형을 조정하고 모델 행동의 실시간 변화를 관찰할 수 있도록 동적 슬라이더를 포함한다.
• 특성 기여도 및 모델 독립적 해석 기법(예: LIME, 순열 중요도)과 같은 설명 가능한 AI 기법을 참조하여 모델 분석을 지원한다.

실험 결과

연구 질문

• RQ1 훈련 데이터의 편향이 기계 학습 모델으로 어떻게 전파되는가?
• RQ2 공변량 이동, 표본 선택 편향, 클래스 불균형과 같은 특정 유형의 데이터 편향은 무엇이며, 모델의 공정성에 어떻게 영향을 미치는가?
• RQ3 기계 학습 모델의 예측이 훈련 데이터에 존재하는 편향을 어느 정도 반영할 수 있는가?
• RQ4 상호작용 가능한 시각화는 데이터 편향이 모델 결정에 미치는 영향을 효과적으로 드러내고 설명할 수 있는가?
• RQ5 도메인 전문가와 머신러닝 전문가가 모델 배포 이전에 편향을 탐지하고 완화하는 데 어떤 역할을 하는가?

주요 결과

• 기계 학습 모델의 편향은 주로 모델 아키텍처가 아니라 편향된 훈련 데이터에서 기인한다.
• 훈련 데이터의 클래스 불균형은 모델이 다수 클래스를 지속적으로 선호하게 하며, 이는 테스트 데이터의 분포가 다를 경우에도 높은 기각률을 초래한다.
• 역사적 차별을 반영하는 훈련 데이터(예: 특정 대학이나 기술이 과도하게 포함됨)는 모델이 이러한 상관관계를 학습하고 복제하여 공정하지 않은 예측을 초래한다.
• 상호작용 가능한 시각화를 통해 진정한 인구 분포에 가까운 훈련 데이터 분포로 조정할수록 모델의 공정성과 예측 정확도가 향상됨을 확인할 수 있다.
• 데이터가 철저히 점검되지 않으면 고성능 모델이라도 편향이 지속됨을 확인하였으며, 이는 설명 가능한 AI와 다학제적 협업의 필요성을 강조한다.
• 이 연구는 기계 학습이 자동으로 편향을 제거하지 않으며, 데이터 품질과 대표성을 확보하지 못하면 기존 편향을 악화시킬 수 있음을 확인한다.