[논문 리뷰] A Broader View on Bias in Automated Decision-Making: Reflecting on Epistemology and Dynamics

Roel Dobbe, Sarah Dean외 2명|arXiv (Cornell University)|2018. 07. 02.

Ethics and Social Impacts of AI참고 문헌 3인용 수 35

한 줄 요약

이 논문은 지식 철학적 고찰과 역동적 피드백 분석을 통합함으로써 자동화된 의사결정에서의 편향을 이해하기 위한 더 넓은 프레임워크를 제안한다. 기술적 편향과 태동적 편향—지식의 형식화 방식과 시스템이 환경과 상호작용하는 방식에 뿌리를 두고 있음—은 데이터 중심 접근 방식을 초월해 공정성과 책임성을 확보하기 위해가치 중심 설계, 자기 반성, 다학제적 참여가 필요하다고 주장한다.

ABSTRACT

Machine learning (ML) is increasingly deployed in real world contexts, supplying actionable insights and forming the basis of automated decision-making systems. While issues resulting from biases pre-existing in training data have been at the center of the fairness debate, these systems are also affected by technical and emergent biases, which often arise as context-specific artifacts of implementation. This position paper interprets technical bias as an epistemological problem and emergent bias as a dynamical feedback phenomenon. In order to stimulate debate on how to change machine learning practice to effectively address these issues, we explore this broader view on bias, stress the need to reflect on epistemology, and point to value-sensitive design methodologies to revisit the design and implementation process of automated decision-making systems.

연구 동기 및 목표

• 기계 학습에서의 편향을 데이터 중심적 시각을 넘어서, 체계적인 문제로 다루기 위해.
• 지식론이 기계 학습 전문가들이 문제를 형식화하고 인간 현상을 표현하는 방식에 어떤 영향을 미치는지 강조하기 위해.
• 실제 구현에서 편향을 강화하거나 증폭시키는 피드백 역학의 중요성을 부각하기 위해.
• 책임감 있는 AI 개발을 위한 핵심 실천으로 가치 중심 설계와 비판적 자기 반성을 지지하기 위해.
• AI, 사회과학, 인문학 간의 다학제적 대화를 촉진하여 윤리적 가치를 시스템 설계에 통합하기 위해.

제안 방법

• 기술적 편향을 질적, 연속적, 비형식적인 개념을 계산 모델로 형식화함으로써 발생하는 지식론적 문제로 해석한다.
• 태동적 편향을 시스템 출력이 향후 입력에 영향을 주는 역동적 피드백 현상으로 분석한다. 이는 기존의 불평등을 강화한다.
• 스테이크홀더의 가치를 기계 학습 시스템의 설계 및 구현 과정에 통합하기 위해 가치 중심 설계 방법론을 활용한다.
• 세 가지 원칙을 제안한다: 공정성 감시 분석 수행, 지식론에 미치는 위치성의 영향 인정, 스테이크홀더 참여를 통한 가치 중심 설계 수행.
• 전문가들이 자신의 개인적 배경과 전문적 배경이 모델링 선택과 편향에 어떻게 영향을 미치는지 인지하기 위해 자기 반성을 장려한다.
• 시스템 이론과 폐쇄형 루프 식별 기법을 활용해 사회기술적 피드백 메커니즘을 모델링하지만, 공학 모델을 사회적 맥락에 적용할 때의 한계를 인정한다.

실험 결과

연구 질문

• RQ1 기술적 편향은 데이터 형식화와 모델 설계에 내재된 지식론적 가정으로부터 어떻게 발생하는가?
• RQ2 배포된 기계 학습 시스템의 피드백 루프는 시간이 지남에 따라 사회적 불평등을 어떻게 강화하거나 증폭시키는가?
• RQ3 기계 학습에서 가치 중심 설계를 어떻게 실천하여 공정성과 책임성을 사전에 통합할 수 있는가?
• RQ4 연구자나 전문가의 위치성이 기계 학습 시스템의 지식론을 어떻게 형성하는가?
• RQ5 시스템 이론과 피드백 모델링은 더 투명하고 내구성이 강한 자동화된 의사결정 시스템 설계에 어떻게 기여할 수 있는가?

주요 결과

• 기술적 편향은 데이터 외에도 인간 현상을 정량화, 이산화, 형식화하는 데서 비롯된 지식론적 선택에서 기인한다. 예를 들어 '좋아요'를 순서척도 평가 대신 사용하는 것.
• 태동적 편향은 시스템 출력이 향후 데이터에 영향을 주는 피드백 루프에서 발생한다. 예를 들어 추천 시스템에서 사용자 행동이 영향을 미치며, 결과적으로 소외를 강화하는 순환 구조를 형성한다.
• 모델이 해로운 사회적 고정관념이나 정체성을 강화하는 표현적 피해는 기계 학습에서 자주 간과되지만, 장기적인 사회적 영향을 미친다.
• 논문은 공정성을 기술적 해결책만으로 확보할 수 없다고 주장한다. 지속적인 자기 반성과 도메인 전문가 및 영향을 받는 공동체와의 참여가 필요하다.
• 공정성 감시 분석과 가치 중심 설계는 정적 데이터 분석에서 포착되지 않는 편향을 식별하고 완화하는 데 필수적이다.
• 위치성이 지식론을 형성한다: 전문가들의 배경과 교육이 문제를 어떻게 프레임화하고 형식화하는지에 영향을 미치며, 따라서 자기 반성은 책임감 있는 AI의 핵심 구성 요소가 된다.