[논문 리뷰] Teaching Responsible Data Science: Charting New Pedagogical Territory

Julia Stoyanovich, Armanda Lewis|arXiv (Cornell University)|2019. 12. 23.

Ethics and Social Impacts of AI참고 문헌 91인용 수 4

한 줄 요약

이 논문은 기술적 코딩과 윤리적 비판을 통합하여 책임감 있는 데이터 과학(RDS)을 가르치는 교육적 프레임워크를 제안한다. 이는 '영양성분 라벨'—해석 가능성 도구의 일종—을 통해 투명성과 해석 가능성에 초점을 맞춘다. 이 방법은 뉴욕대학교(NYU)의 대학원/학부 과정에서 테스트되었으며, '해석 대상이 되는 물체' 모델을 사용한 프로젝트 기반 학습을 통해 실용적인 교육 방법과 공개된 자료를 제공하여 공학과 사회과학 교육 방식의 격차를 메운다.

ABSTRACT

Although numerous ethics courses are available, with many focusing specifically on technology and computer ethics, pedagogical approaches employed in these courses rely exclusively on texts rather than on software development or data analysis. Technical students often consider these courses unimportant and a distraction from the "real" material. To develop instructional materials and methodologies that are thoughtful and engaging, we must strive for balance: between texts and coding, between critique and solution, and between cutting-edge research and practical applicability. Finding such balance is particularly difficult in the nascent field of responsible data science (RDS), where we are only starting to understand how to interface between the intrinsically different methodologies of engineering and social sciences. In this paper we recount a recent experience in developing and teaching an RDS course to graduate and advanced undergraduate students in data science. We then dive into an area that is critically important to RDS -- transparency and interpretability of machine-assisted decision-making, and tie this area to the needs of emerging RDS curricula. Recounting our own experience, and leveraging literature on pedagogical methods in data science and beyond, we propose the notion of an "object-to-interpret-with". We link this notion to "nutritional labels" -- a family of interpretability tools that are gaining popularity in RDS research and practice. With this work we aim to contribute to the nascent area of RDS education, and to inspire others in the community to come together to develop a deeper theoretical understanding of the pedagogical needs of RDS, and contribute concrete educational materials and methodologies that others can use. All course materials are publicly available at https://dataresponsibly.github.io/courses.

연구 동기 및 목표

• 기술적 실습 중심의 RDS 커리큘럼 부족 문제를 해결하여, 기술 학생들이 윤리 수업이 무의미하다고 느끼는 인식에 대비한다.
• 실제 연구에 기반한 실용적 방법을 사용하여 해석 가능성과 투명성을 데이터 과학 교육에 통합하는 교육 프레임워크를 개발한다.
• 코딩, 비판, 실제 적용을 결합하여 학생들이 책임감 있는 데이터 과학 실천에 대비할 수 있도록 가용성과 재사용성이 높은 교육 모델을 구축한다.
• 수업 중심 학습 원리와 탐구 기반 학습 원리를 통해 공학적 접근과 사회과학적 접근 간의 방법론적 격차를 RDS 교육에서 메운다.
• 다른 교사들이 활용하고 변형할 수 있도록 구체적이고 공개된 교육 자료와 평가 전략을 제공한다.

제안 방법

• 뉴욕대학교(NYU)에서 윤리, 공정성, 개인정보 보호, 투명성을 기술적 데이터 과학 교육에 통합한 대학원/학부 RDS 과정을 개발하였다.
• '해석 대상이 되는 물체'(object-to-interpret-with) 개념을 도입하여, '사고를 돕는 물체'에서 영감을 얻은 구성주의 학습 도구를 활용해 학생들이 기계 학습 모델을 분석하고 해석하도록 돕는다.
• 모델의 투명성을 평가하기 위해 '영양성분 라벨'을 가족 형태의 해석 가능성 도구로 활용하여, 학생들이 모델의 설명 가능성을 평가하고 향상시킬 수 있도록 한다.
• 모델 재현, 과정 분석, 해석 가능성 라벨 설계를 포함한 프로젝트 기반 학습 활동을 설계하여 실용적 역량을 기르도록 한다.
• 다양한 학습자를 지원하기 위해 작업 예제, 그룹 문제 해결, 시뮬레이션, 반성 등의 교육 최적 실천 방법을 통합한다.
• 정량적 지표와 정성적 해석 간의 갈등을 고려하여 혼합 방법 평가를 사용하여 모델 성능과 해석 가능성 양쪽을 평가한다.

실험 결과

연구 질문

• RQ1 어떻게 기술적 코딩과 윤리적 비판을 균형 있게 통합하여 기술 학생들에게 더 관련성이 높은 책임감 있는 데이터 과학 교육을 설계할 수 있는가?
• RQ2 기계 보조 의사결정에서의 해석 가능성과 투명성을 효과적으로 데이터 과학 학생들에게 가르치기 위한 교육 모델은 무엇인가?
• RQ3 어떻게 '영양성분 라벨'이 과정 중심 학습 환경에서 실용적인 해석 가능성 도구로 기능할 수 있는가?
• RQ4 '해석 대상이 되는 물체'는 학생들이 모델의 투명성과 공정성에 대해 깊이 있는 이해를 갖도록 하는 데 어떤 역할을 하는가?
• RQ5 기술적 시각과 사회과학적 시각을 모두 통합하면서도 확장성과 재사용성을 유지할 수 있도록 RDS 커리큘럼을 어떻게 설계할 수 있는가?

주요 결과

• RDS 과정은 코딩, 모델 재현, 해석 가능성 작업을 통합하여 기술 학생들의 참여를 유도하여 윤리 수업이 무의미하다는 인식을 완화시켰다.
• 학생들은 '영양성분 라벨'과 모델 분석을 실습함으로써 투명성 결함를 식별하고 해석 가능성 수준을 향상시키는 데 능력을 향상시켰다.
• '해석 대상이 되는 물체' 프레임워크는 학생들이 모델 해석 가능성에 대해 초보자에서 전문가 수준의 이해로 전환하는 데 효과적이었다.
• 모델 재현 연구와 해석 가능성 라벨 설계를 포함한 프로젝트 기반 학습은 공정성과 투명성 분야에서 깊이 있는 참여와 실용적 역량 개발을 이끌었다.
• 평가 결과, 정량적 지표 기반 성능와 정성적 해석 간의 갈등이 드러나 RDS 교육에서 혼합 방법 평가의 필요성을 강조했다.
• 모든 과제와 자료를 포함한 과정 자료는 https://dataresponsibly.github.io/courses 에 공개되어 있어 다른 교사들이 재사용하고 변형할 수 있도록 하였다.