[논문 리뷰] Taking Ethics, Fairness, and Bias Seriously in Machine Learning for Disaster Risk Management

Robert Soden, Dennis Wagenaar외 2명|arXiv (Cornell University)|2019. 12. 10.

Disaster Management and Resilience인용 수 7

한 줄 요약

이 논문은 재해 위험 관리(DRM) 분야의 기계학습(ML) 응용에 윤리, 공정성, 편향 고려를 통합할 것을 주장하며, 감시 없이 도입될 경우 ML 도구가 불평등과 개인정보 문제를 악화시킬 수 있음을 지적한다. 연구는 위협 평가, 다기관 협력, 다른 분야의 교훈을 통해 재해 위험 관리 분야에서 책임감 있고 투명하며 지역사회 기반의 ML 사용을 보장하는 데 초점을 맞춘 연구 계획을 제안한다.

ABSTRACT

This paper highlights an important, if under-examined, set of questions about the deployment of machine learning technologies in the field of disaster risk management (DRM). While emerging tools show promising capacity to support scientific efforts to better understand and mitigate the threats posed by disasters and climate change, our field must undertake a much more careful assessment of the potential negative impacts that machine learning technologies may create. We also argue that attention to these issues in the context of machine learning affords the opportunity to have discussions about potential ethics, bias, and fairness concerns within disaster data more broadly. In what follows, we first describe some of the uses and potential benefits of machine-learning technology in disaster risk management. We then draw on research from other fields to speculate about potential negative impacts. Finally, we outline a research agenda for how our disaster risk management can begin to take these issues seriously and ensure that deployments of machine-learning tools are conducted in a responsible and beneficial manner.

연구 동기 및 목표

• 기후 모델링, 보험, 비상 대응 분야에서 점점 더 널리 사용되고 있음에도 불구하고, 재해 위험 관리(DRM) 분야에서 기계학습(ML)을 도입할 때 간과되고 있는 윤리적 위험을 다루기.
• 훈련 데이터 및 데이터 수집 방식의 편향이 DRM 응용에서 기존의 사회적 불평등을 악화시킬 수 있음을 강조하기.
• 누락되거나 불완전한 데이터, 인구 통계적 분리가 없는 데이터, 개인정보 우려 등 재해 데이터의 일반적인 한계에 대한 비판적 성찰을 촉진하기.
• 개발 및 인도적 분야에서의 기존 윤리 지침을 준수하고 투명성과 지역사회 참여를 통해 기계학습 도구의 책임감 있는 도입을 촉진하기.
• 얼굴 인식 및 형사 사법 분야 등 다른 분야의 교훈을 활용하여, 재해 위험 관리 분야에서 기계학습의 뜻하지 않은 결과를 사전에 평가하는 연구 계획 수립하기.

제안 방법

• 원격 탐사 분석, 영상에서의 피해 예측, 인프라 및 보험을 위한 위험 모델링 등을 포함한 기존 재해 위험 관리(DRM) 분야의 기계학습(ML) 응용을 비판적으로 검토하기.
• 윤리, 데이터 과학, 인도적 기술 분야의 다학제적 연구를 바탕으로 편향된 데이터셋, 개인정보 침해, 전문가 감시 감소 등의 잠재적 피해를 식별하기.
• 재해 위험 관리 분야의 신규 기계학습(ML) 응용에 대한 위협 평가 프레임워크를 제안하며, 배포 이전의 위험 평가를 강조하기.
• 개발 및 인도적 분야에서의 기존 윤리 지침(예: 디지털 개발 원칙, Signal Code)의 도입을 권고하기.
• 기계학습 도구의 평가 기준을 공동으로 개발하고 지식을 공유하기 위해 다기관 협력을 촉진하기.
• 기계학습 시스템 설계의 정치적·윤리적 분석을 사례 기반으로 시행하여 내재된 권력 관계와 의사결정의 상충 요소를 드러내기.

실험 결과

연구 질문

• RQ1 기계학습 시스템이 훈련 데이터에 편향이 있을 경우 재해 위험 관리(DRM) 분야에서 어떻게 사회적 불평등을 부당하게 유지하거나 악화시킬 수 있는가?
• RQ2 재해 위험 모델링에서 기존의 데이터 제한과 수집 방식이 어떻게 기존의 체계적 불평등을 반영하고 강화하는가?
• RQ3 위험, 갈등, 폭력이 우세한(FCV) 환경에서 다양한 데이터셋을 결합하는 기계학습(ML) 도구에서 발생하는 윤리적 위험은 무엇인가?
• RQ4 기계학습 모델의 투명성 부족과 불확실성에 대한 소통 부족은 고위험 DRM 의사결정에서 오용 위험을 어떻게 증가시키는가?
• RQ5 지역사회 참여와 개방형 데이터 관행은 기계학습 기반 재해 위험 시스템에서 공정성과 투명성을 확보하는 데 어떤 역할을 할 수 있는가?

주요 결과

• 기계학습 도구가 편향되거나 불완전한 데이터셋으로 훈련될 경우 재해 위험 관리(DRM) 분야에서 기존의 사회적 불평등을 재생산하거나 악화시킬 위험이 있다.
• FCV 환경에서 기계학습을 사용할 경우, 이전에 별개였던 데이터 소스를 연결함으로써 개인정보 및 보안 위험을 증가시킬 수 있으며, 특히 동의 없는 데이터 수집이 이루어질 경우 더욱 심각해진다.
• 자동화된 시스템에 과도하게 의존할 경우 전문가 판단의 역할이 약화되어 투명성 부족으로 인한 오류나 오용 위험이 증가한다.
• 많은 기계학습 시스템이 자신의 불확실성이나 방법론적 가정을 통보하지 못함으로써 비상 상황에서 오해의 소지가 생기고 잘못된 의사결정을 유도할 위험이 증가한다.
• 인도적 및 디지털 개발 분야에서의 기존 윤리 지침(예: 디지털 개발 원칙, Signal Code)은 재해 위험 관리 분야에서 기계학습의 책임감 있는 도입을 위한 실질적인 프레임워크를 제공한다.
• 기계학습 시스템의 설계 선택이 재해 위험 모델링에 사용될 경우 정치적·윤리적 결과를 분석하기 위한 세부 사례 연구가 절실하게 필요하다.