[論文レビュー] Teaching Responsible Data Science: Charting New Pedagogical Territory

Julia Stoyanovich, Armanda Lewis|arXiv (Cornell University)|Dec 23, 2019

Ethics and Social Impacts of AI参考文献 91被引用数 4

ひとこと要約

本論文は、技術的コーディングと倫理的批判を統合することで、透明性と解釈可能性を重視する、責任あるデータサイエンス（RDS）教育の教育的フレームワークを提案する。その中で『栄養成分表示』と呼ばれる解釈可能性ツールのファミリーを用い、透明性と解釈可能性を高める。このアプローチはニューヨーク大学の大学院・学部課程で実践され、『解釈対象物』モデルに基づくプロジェクトベースの学習を採用し、実用的で再利用可能な教育手法と、公開済みの教材を提供することで、工学的および社会科学的教育手法のギャップを埋める。

ABSTRACT

Although numerous ethics courses are available, with many focusing specifically on technology and computer ethics, pedagogical approaches employed in these courses rely exclusively on texts rather than on software development or data analysis. Technical students often consider these courses unimportant and a distraction from the "real" material. To develop instructional materials and methodologies that are thoughtful and engaging, we must strive for balance: between texts and coding, between critique and solution, and between cutting-edge research and practical applicability. Finding such balance is particularly difficult in the nascent field of responsible data science (RDS), where we are only starting to understand how to interface between the intrinsically different methodologies of engineering and social sciences. In this paper we recount a recent experience in developing and teaching an RDS course to graduate and advanced undergraduate students in data science. We then dive into an area that is critically important to RDS -- transparency and interpretability of machine-assisted decision-making, and tie this area to the needs of emerging RDS curricula. Recounting our own experience, and leveraging literature on pedagogical methods in data science and beyond, we propose the notion of an "object-to-interpret-with". We link this notion to "nutritional labels" -- a family of interpretability tools that are gaining popularity in RDS research and practice. With this work we aim to contribute to the nascent area of RDS education, and to inspire others in the community to come together to develop a deeper theoretical understanding of the pedagogical needs of RDS, and contribute concrete educational materials and methodologies that others can use. All course materials are publicly available at https://dataresponsibly.github.io/courses.

研究の動機と目的

• 技術的で実践的なRDSカリキュラムの不足に応えること。特に、技術的学習者にとって倫理教育が無関係だと感じられるという認識を是正する。
• 研究に基づいた実用的手法を用いて、解釈可能性と透明性をデータサイエンス教育に統合する教育的フレームワークの開発。
• コーディング、批判的思考、実世界の応用を組み合わせた、スケーラブルで再利用可能なコースモデルの構築により、責任あるデータサイエンス実務への準備を促進。
• 構成主義的および探求型学習の原則を用いて、RDS教育における工学的および社会科学的手法のギャップを埋める。
• 他の教育者が容易に採用・適合できるように、具体的で公開済みの教育教材と評価戦略を提供。

提案手法

• ニューヨーク大学で、倫理、公平性、プライバシー、透明性を技術的データサイエンス教育に統合した大学院・学部向けRDSコースを開発。
• 『解釈対象物』（object-to-interpret-with）の概念を導入。これは『思考の対象物』にインspiredされた構成主義的学習ツールであり、学生が機械学習モデルを分析・解釈するのを支援する。
• 『栄養成分表示』をファミリーとしての解釈可能性ツールとして採用。モデルの透明性を評価できるようにし、学生がモデルの説明可能性を評価・改善できるようにする。
• モデル再現、プロセス分析、解釈可能性ラベルの設計を含むプロジェクトベースの学習活動を設計。実務的スキルを育成。
• 多様な学習者を支援するため、事例の提示、グループ問題解決、シミュレーション、自己反映などの教育的ベストプラクティスを統合。
• 定量的指標と定性的解釈の両方を評価する混合研究法による評価を実施。これにより、性能指標と解釈可能性の間の緊張関係を認識。

実験結果

リサーチクエスチョン

• RQ1 技術的コーディングと倫理的批判をどのようにバランスさせれば、技術的学習者にとっての関連性を高められるか？
• RQ2 機械支援意思決定における解釈可能性と透明性を、データサイエンス学習者に効果的に教えるための教育的モデルは何か？
• RQ3 『栄養成分表示』は、コースベースの学習環境で実用的な解釈可能性ツールとしてどのように機能するか？
• RQ4 『解釈対象物』は、学生がモデルの透明性や公平性についてより深い理解を獲得するのをどのように支援するか？
• RQ5 技術的および社会科学的視点を統合しつつ、スケーラブルかつ再利用可能なRDSカリキュラムは、どのように設計できるか？

主な発見

• RDSコースは、コーディング、モデル再現、解釈可能性タスクを統合することで、技術的学習者の関与を高め、倫理教育が無関係だと感じられるという認識を是正した。
• 学生は『栄養成分表示』とモデル分析を通じた実践的作業により、透明性の欠陥を特定し、解釈可能性を向上させる能力が向上した。
• 『解釈対象物』フレームワークは、学生がモデル解釈可能性について初心者から熟練者へと理解を深めるのを効果的に支援した。
• 再現研究と解釈可能性ラベル設計を含むプロジェクトベースの学習により、公平性と透明性に関する関与が深まり、実務的スキルが向上した。
• 評価では、指標に基づく性能と定性的な解釈の間の緊張が明らかになった。これにより、RDS教育における混合研究法による評価の必要性が強調された。
• コースの教材（全課題およびリソース）はすべて、https://dataresponsibly.github.io/courses で公開されており、教育者が容易に再利用・適合可能である。