[논문 리뷰] Mapping for accessibility: A case study of ethics in data science for social good

Anissa Tanweer, Nicholas Bolten외 5명|arXiv (Cornell University)|2017. 10. 18.

Disability Rights and Representation참고 문헌 11인용 수 5

한 줄 요약

이 논문은 이동 능력이 제한된 사람들을 위한 보다 나은 내비게이션을 개선하기 위해 수행된 데이터 과학을 통한 사회적 복지(DSSG) 프로젝트에서 발생하는 윤리적 과제에 대한 사례 연구를 제시한다. 정의, 책임, 개인정보 보호, 기술적 과잉 개입과 관련된 딜레마들을 어떻게 다루었는지 분석함으로써, 저자들은 DSSG 작업에서 윤리적 사고를 조기에, 반복적으로, 균형 잡힌 가치 기반 실천으로 통합하는 프레임워크를 제안한다.

ABSTRACT

Ethics in the emerging world of data science are often discussed through cautionary tales about the dire consequences of missteps taken by high profile companies or organizations. We take a different approach by foregrounding the ways that ethics are implicated in the day-to-day work of data science, focusing on instances in which data scientists recognize, grapple with, and conscientiously respond to ethical challenges. This paper presents a case study of ethical dilemmas that arose in a "data science for social good" (DSSG) project focused on improving navigation for people with limited mobility. We describe how this particular DSSG team responded to those dilemmas, and how those responses gave rise to still more dilemmas. While the details of the case discussed here are unique, the ethical dilemmas they illuminate can commonly be found across many DSSG projects. These include: the risk of exacerbating disparities; the thorniness of algorithmic accountability; the evolving opportunities for mischief presented by new technologies; the subjective and value- laden interpretations at the heart of any data-intensive project; the potential for data to amplify or mute particular voices; the possibility of privacy violations; and the folly of technological solutionism. Based on our tracing of the team's responses to these dilemmas, we distill lessons for an ethical data science practice that can be more generally applied across DSSG projects. Specifically, this case experience highlights the importance of: 1) Setting the scene early on for ethical thinking 2) Recognizing ethical decision-making as an emergent phenomenon intertwined with the quotidian work of data science for social good 3) Approaching ethical thinking as a thoughtful and intentional balancing of priorities rather than a binary differentiation between right and wrong.

연구 동기 및 목표

• 윤리가 고위험 실패 사례에만 국한되지 않고 일상적인 데이터 과학 실천에 어떻게 통합되는지 조사하기 위해.
• 특히 접근성 맥락에서 발생하는 격차 심화 및 알고리즘 책임성 문제와 같은 DSSG 프로젝트에서 반복적으로 나타나는 윤리적 딜레마를 식별하기 위해.
• 가치 기반의 해석과 데이터 표현 방식이 소외된 목소리를 강화하거나 묻힐 수 있는 방식을 탐색하기 위해.
• 데이터 집약적인 사회적 복지 이니셔티브에서 기술적 해법 중심 사고와 개인정보 침해 위험을 부각하기 위해.
• 조기, 반복적이고 균형 잡힌 의사결정을 강조하는 실용적인 윤리적 데이터 과학 프레임워크를 개발하기 위해.

제안 방법

• 이동 능력이 제한된 사람들을 위한 도시 내 내비게이션 향상을 목표로 한 DSSG 프로젝트에 대한 질적 사례 연구를 수행하였다.
• 프로젝트 전반에 걸쳐 팀이 윤리적 딜레마에 어떻게 대응했는지 추적하였으며, 실시간 의사결정의 중요성을 강조하였다.
• 팀 토론과 프로젝트 문서를 분석하여 공통의 윤리적 과제를 주제 분석을 통해 식별하였다.
• 윤리적 맥락을 프로젝트 설계 초반에 설정하는 것이 중요하며, 윤리는 후속 고려 사항이 아니라 사전 고려 사항이 되어야 한다고 강조하였다.
• 반복적이고 가치 기반이며 맥락 민감한 의사결정을 바탕으로 한 윤리적 데이터 과학 실천 프레임워크를 제안하였다.
• 사례에서 도출된 통찰을 바탕으로 다양한 DSSG 이니셔티브에 일반화 가능한 윤리 원칙을 도출하였다.

실험 결과

연구 질문

• RQ1 DSSG 프로젝트의 데이터 과학자들은 일상 업무에서 윤리적 과제를 어떻게 인지하고 대응하는가?
• RQ2 특히 접근성 맥락에서 사회적 복지를 위한 데이터 과학 프로젝트에서 반복적으로 나타나는 윤리적 딜레마는 무엇인가?
• RQ3 윤리적 의사결정은 기술적 워크플로우에 어떻게 통합될 수 있으며, 별도의 문제로 간주되지 않도록 할 수 있는가?
• RQ4 데이터 수집 및 알고리즘 설계 과정에서 기존 사회적 격차를 부추기는 방식으로 작용할 수 있는가?
• RQ5 윤리적 고려 사항은 어떻게 균형 잡힌 방식으로 조율될 수 있으며, 오직 옳고 그름의 이元적 판단으로 단순화되지 않도록 할 수 있는가?

주요 결과

• DSSG 프로젝트에서의 윤리적 과제는 고립된 사건이 아니라 프로젝트 라이프사이클 전반에 걸쳐 지속적으로 발생한다.
• 팀은 데이터 표현, 개인정보, 알고리즘 책임성과 관련된 딜레마를 경험하였으며, 이는 프로젝트가 진행됨에 따라 변화하였다.
• 프로젝트 초반에 윤리적 맥락을 설정함으로써 팀은 발생 가능한 문제들에 대해 더 사전적이고 성찰적인 대응을 할 수 있었다.
• 윤리적 의사결정은 기술적 작업과 뒤섞여 있는 유기적인 과정이었으며, 단일 체크리스트로 간주되는 것이 아니었다.
• 이 프로젝트는 기술적 해법 중심 사고—즉, 데이터와 알고리즘이 단독으로 사회 문제를 해결할 수 있다고 가정하는 사고 방식—이 종종 구조적 불평등을 간과한다는 점을 드러냈다.
• 이 연구는 윤리적 사고가 엄격한 규칙 준수를 넘어서, 경쟁하는 가치들을 의도적이고 지속적인 균형 조정이 필요하다는 점을 입증한다.