[논문 리뷰] Participatory Problem Formulation for Fairer Machine Learning Through Community Based System Dynamics

Donald Martin, Vinodkumar Prabhakaran외 3명|arXiv (Cornell University)|2020. 05. 15.

Ethics and Social Impacts of AI참고 문헌 25인용 수 29

한 줄 요약

이 논문은 기여자 참여 모델링을 통해 문제 정의 단계에서 소외된 이해관계자를 포함시킴으로써 기계학습에서의 공정성 향상을 위한 커뮤니티 기반 시스템 동역학(CBSD)을 제안한다. 시각적 시스템 동역학 다이어그램과 시뮬레이션을 사용함으로써 CBSD는 인과적 가정을 명확히 하고, 높은 영향을 미치는 분야에서 피드백 루프와 시간 지연을 포착하며, 삶의 경험을 통합함으로써 기계학습 시스템 설계에서의 편향을 줄인다.

ABSTRACT

Recent research on algorithmic fairness has highlighted that the problem formulation phase of ML system development can be a key source of bias that has significant downstream impacts on ML system fairness outcomes. However, very little attention has been paid to methods for improving the fairness efficacy of this critical phase of ML system development. Current practice neither accounts for the dynamic complexity of high-stakes domains nor incorporates the perspectives of vulnerable stakeholders. In this paper we introduce community based system dynamics (CBSD) as an approach to enable the participation of typically excluded stakeholders in the problem formulation phase of the ML system development process and facilitate the deep problem understanding required to mitigate bias during this crucial stage.

연구 동기 및 목표

• 기계학습 문제 정의 단계에서의 체계적이고 포용적인 방법의 부족을 해결함으로써, 알고리즘 편향의 주요 원인을 제거한다.
• 현재 문제 정의가 비체계적이고, 다양하지 않은 이해관계자로부터 투명하지 않은 인과적 추론에 의존하며, 높은 영향을 미치는 분야의 동적 복잡성을 반영하지 못한다는 점을 인지한다.
• 기계학습 시스템 설계 단계에서 인과 모델 개발에 취약한 공동체의 삶의 경험을 통합함으로써 편향을 완화한다.
• 피드백 루프, 시간 지연, 체계적 불평등을 고려한 공식적이고 투명하며 참여적인 인과적 추론 접근법을 개발한다.
• 공동체가 인과 모델을 공동으로 설계하고 비판할 수 있도록 권한을 부여함으로써, 공정성이 공동체 기반의 관점에 의해 정의되고 평가되도록 보장한다.

제안 방법

• 문제 영역에 속한 이해관계자를 참여시키는 참가형 모델링 접근법인 커뮤니티 기반 시스템 동역학(CBSD)을 적용한다.
• 인과적 가정을 명확히 하고 비판을 받을 수 있도록 하기 위해, 피드백 루프와 변수 간 관계를 맵핑하기 위해 인과 루프 다이어그램(CLD)을 사용한다.
• 누적량과 시간에 따른 변화율을 표현하기 위해 스톡 및 플로우 다이어그램을 구성한다.
• 모델 기반으로 시뮬레이션을 수행하여 간접적 영향을 테스트하고, 장기적 영향을 시각화하며, 안전한 '실내' 환경에서 인과적 가설을 탐색한다.
• 다양한 이해관계자, 특히 소외된 공동체를 포함한 협업 워크숍을 통해 반복적인 모델 개선을 촉진한다.
• 모델 개발 과정에 공동체의 시각을 통합함으로써 인과 이론이 실제 경험과 체계적 불평등을 반영하도록 보장한다.

실험 결과

연구 질문

• RQ1 기계학습 문제 정의 단계를 어떻게 체계화할 수 있을까? 이는 투명하지 않은 직관 기반의 인과적 추론에 대한 의존도를 줄이기 위함이다.
• RQ2 소외된 이해관계자가 참여적 방법을 통해 고위험 기계학습 응용 분야의 인과 모델을 어떻게 형성에 기여할 수 있을까?
• RQ3 피드백 루프와 시간 지연과 같은 동적 복잡성을 통합함으로써 기계학습 시스템 설계에서의 공정성이 어떻게 향상될 수 있을까?
• RQ4 기존의 상향식 접근 방식과 비교해보았을 때, 참여적 시스템 동역학 모델은 더 공정하고 투명한 기계학습 간섭을 이끌 수 있는가?
• RQ5 편향된 대체 변수를 식별하고 수정하는 데 있어, 주변의 이해관계자들의 삶의 경험은 어떤 역할을 할 수 있는가?

주요 결과

• 문제 정의 단계는 기계학습에서 편향의 핵심이지만 여전히 다루지 못한 원천이며, 건강 보험 위험 평가 알고리즘에서의 인종 편향을 통해 이를 확인할 수 있다. 이 알고리즘은 의료비 지출을 필요도의 대체 지표로 사용했다.
• 의료비를 필요도의 대체 지표로 사용하는 것은 아프리카계 미국인들 사이에서 의료 접근성이 낮다는 체계적 불평등을 반영하지 못했으며, 이로 인해 고위험 환자의 식별이 부족해졌다.
• CBSD는 Causal Loop Diagrams와 시뮬레이션을 통해 지출과 필요도 사이의 연결과 같은 인과적 가정을 시각화하고 비판할 수 있도록 한다.
• CBSD를 통한 참여적 모델링은 인과적 추론을 명확히 하고, 검토되지 않은 가정에 대한 의존도를 줄이며, 기계학습 개발의 투명성을 높인다.
• 시스템 동역학 모델의 시뮬레이션은 '실내 실험'을 가능하게 하여 이해관계자가 간접적 영향과 예상치 못한 결과를 이해하는 데 도움을 준다.
• 공동체의 시각을 모델 구축에 통합함으로써 더 정확한 인과 모델이 만들어지고, 기계학습 시스템에서 기존 사회적 불평등을 강화할 위험도 줄어든다.