[論文レビュー] Value Cards: An Educational Toolkit for Teaching Social Impacts of Machine Learning through Deliberation

Hong Shen, Hanwen Wesley Deng+4 more|arXiv (Cornell University)|Oct 22, 2020

Ethics and Social Impacts of AI参考文献 50被引用数 12

ひとこと要約

本論文は、レシジビティ予測における機械学習の社会的影響を教えるために、モデルカード、ペルソナカード、チェックリストカードを用いた意思決定型教育用ツールキット「バリューカード」を紹介する。研究では、このツールキットが学生の性能指標のトレードオフの理解を向上させ、多様なステークホルダーの価値を認識する力を高め、倫理的なAI設計におけるコミュニケーションおよび交渉スキルを強化することを示している。

ABSTRACT

Recently, there have been increasing calls for computer science curricula to complement existing technical training with topics related to Fairness, Accountability, Transparency, and Ethics. In this paper, we present Value Card, an educational toolkit to inform students and practitioners of the social impacts of different machine learning models via deliberation. This paper presents an early use of our approach in a college-level computer science course. Through an in-class activity, we report empirical data for the initial effectiveness of our approach. Our results suggest that the use of the Value Cards toolkit can improve students' understanding of both the technical definitions and trade-offs of performance metrics and apply them in real-world contexts, help them recognize the significance of considering diverse social values in the development of deployment of algorithmic systems, and enable them to communicate, negotiate and synthesize the perspectives of diverse stakeholders. Our study also demonstrates a number of caveats we need to consider when using the different variants of the Value Cards toolkit. Finally, we discuss the challenges as well as future applications of our approach.

研究の動機と目的

• 技術的トレーニングと併せて、Fairness, Accountability, Transparency, and Ethics (FATE) のトピックを組み込む必要が高まるコンピュータサイエンスのカリキュラムへの統合に対応すること。
• 技術的指標を超えて機械学習モデルの社会的影響を理解するのを支援する教育用ツールキットの開発。
• アルゴリズム意思決定における多様なステークホルダーの価値と倫理的トレードオフを中核とした学生の意思決定プロセスへの参加を促すこと。
• 実際の教室環境でバリューカードツールキットの異なる構成の有効性を評価すること。

提案手法

• バリューカードツールキットは3つのコンponentsで構成される：機械学習モデルとその性能トレードオフを記述するモデルカード、異なる価値観と関心を持つステークホルダーを表すペルソナカード、技術的および社会的配慮事項を要約するチェックリストカード。
• 本研究では、4つのバリエーション（モデルカードのみ、モデルカード＋チェックリストカード、モデルカード＋ペルソナカード、モデルカード＋チェックリストカード＋ペルソナカード）を用いて、大学レベルのコンピュータサイエンス授業でツールキットを実装した。
• 教員は、レシジビティ予測の事例研究を基盤として、クラス内での意思決定活動をガイドした。
• 学生たちは、モデルの性能評価、トレードオフの交渉、ステークホルダーの視点の検討を目的とした構造化されたディスカッションに参加した。
• 学習成果を評価するために、学生のディスカッションおよび自己反顧の質的分析を採用した。
• ツールキットは柔軟性を備えており、教員が特定の分野や教育的文脈に合わせてコンponentsをカスタマイズできるように設計された。

実験結果

リサーチクエスチョン

• RQ1 バリューカードツールキットは、レシジビティ予測の文脈において、学生が技術的性能指標とその倫理的トレードオフを理解するのをどの程度効果的に向上させるか？
• RQ2 ステークホルダーペルソナとチェックリストを統合することで、学生がアルゴリズムシステムにおける多様な社会的価値をどの程度的確に考察できるようになるか？
• RQ3 バリューカードの異なる構成（例：ペルソナ／チェックリストの有無）が、学生の意思決定の質および深さにどのような影響を及えるか？
• RQ4 学生は、新たなステークホルダーを特定したり、人間を含めた意思決定メカニズムを提案することで、ツールキットのフレームワークをどの程度拡張するか？

主な発見

• バリューカードの使用により、学生はレシジビティ予測の文脈において、精度、再現率、偽陽性率といった性能指標の定義とそれらのトレードオフについての理解が著しく向上した。
• 学生は、公平性、プライバシー、責任の所在といった多様な社会的価値を機械学習システム設計に組み込む重要性をより意識するようになった。
• ペルソナカードの導入により、より洗練された、ステークホルダー中心のディスカッションが促進され、学生たちは競合する価値観と利益を能動的に交渉した。
• 学生はしばしば、納税者など新たなステークホルダーを特定し、システムの透明性と監視性を高めるために人間を含めた意思決定メカニズムを提案することで、ツールキットの枠組みを拡張した。
• ペルソナカードとチェックリストカードの併用は、より包括的なディスカッションを生み出したが、ペルソナカードの存在が、チェックリストに起因する考察をやや軽視する要因ともなった。
• 学生は、システムの再設計を提案したり、権力のダイナミクスを検討したりするような高次元の推論に参加し、提供された資料を超えた深い倫理的関与を示した。