[논문 리뷰] Bias in Machine Learning -- What is it Good for?

Thomas Hellström, Virginia Dignum외 1명|arXiv (Cornell University)|2020. 04. 01.

Ethics and Social Impacts of AI참고 문헌 40인용 수 46

한 줄 요약

이 논문은 기계 학습에서 편향의 다양한 의미에 대한 분류 체계를 제시하고, 학습 파이프라인을 따라 편향을 구분하며, 이들의 상호 관계 및 모델 편향과 사회적 공정성에 대한 시사점을 논의한다.

ABSTRACT

In public media as well as in scientific publications, the term \emph{bias} is used in conjunction with machine learning in many different contexts, and with many different meanings. This paper proposes a taxonomy of these different meanings, terminology, and definitions by surveying the, primarily scientific, literature on machine learning. In some cases, we suggest extensions and modifications to promote a clear terminology and completeness. The survey is followed by an analysis and discussion on how different types of biases are connected and depend on each other. We conclude that there is a complex relation between bias occurring in the machine learning pipeline that leads to a model, and the eventual bias of the model (which is typically related to social discrimination). The former bias may or may not influence the latter, in a sometimes bad, and sometime good way.

연구 동기 및 목표

• 문헌 전반에 걸쳐 기계 학습에서의 bias의 다양한 용도와 정의를 분명히 한다.
• 기계 학습 파이프라인(세계/world, 데이터 생성, 학습)을 따라 편향의 분류 체계를 제시한다.
• 다양한 편향 유형이 어떻게 상호 작용하고 최종 모델 편향에 어떤 영향을 미치는지 논의하며, 윤리적 및 인과적 고려를 포함한다.

제안 방법

• ML에서 만나는 편향을 분류하고 정의하기 위해 발표된 연구를 조사한다.
• 공유된 개념에 대한 서술적 이름을 통해 용어를 도입하고 표준화한다.
• 편향 유형 간의 연결을 논의하고 분류 다이어그램을 제안한다.
• 인과적 고려와 '있는 세계' 대 '되어야 하는 세계'의 구분을 논의한다.

실험 결과

연구 질문

• RQ1 문헌 전반에서 기계 학습과 관련하여 사용되는 편향의 구별되는 개념은 무엇인가?
• RQ2 세계, 데이터 생성, 학습 단계에서 발생하는 편향이 최종 모델에서 관찰되는 편향과 어떻게 관련되는가?
• RQ3 ML에서 명확하고 완전한 편향 분류 체계를 달성하기 위해 필요한 용어 및 확장은 무엇인가?

주요 결과

• ML에서 편향에 관한 다수의 개념이 존재하며 때로는 상충하는데, 이는 학습, 데이터 및 세계 관련 요소에 걸친다.
• 역사적/세계 편향, 데이터 생성 편향, 학습 편향을 연결하는 분류 체계는 편향이 모델 편향으로 어떻게 전이되는지 설명하는 데 도움이 된다.
• 모델 편향은 인과적 요인에 의해 좌우되며 과제와 규범적 목표에 따라 바람직하거나 바람직하지 않을 수 있다.
• 많은 편향 개념들이 상호 관련되어 있으며 분류기 성능 지표의 트레이드오프 때문에 동시에 피하기 어렵다.
• 편향 제거는 바람직한 세계로서의 세계를 대상으로 하거나 모델을 훈련시키는 데이터에 대해 타깃팅할 수 있으며 각각 다른 시사점을 가진다.