[論文レビュー] AHA!: Facilitating AI Impact Assessment by Generating Examples of Harms

Zana Buçinca, Chau Pham+4 more|arXiv (Cornell University)|Jun 5, 2023

Ethics and Social Impacts of AI被引用数 9

ひとこと要約

AHA! は、倫理マトリックスをビネットで埋め、それをクラウドソーシングとLLMsで完成させて潜在的な害を浮き彫りにし、その後、シナリオ間で害を分析する生成フレームワークです。

ABSTRACT

While demands for change and accountability for harmful AI consequences mount, foreseeing the downstream effects of deploying AI systems remains a challenging task. We developed AHA! (Anticipating Harms of AI), a generative framework to assist AI practitioners and decision-makers in anticipating potential harms and unintended consequences of AI systems prior to development or deployment. Given an AI deployment scenario, AHA! generates descriptions of possible harms for different stakeholders. To do so, AHA! systematically considers the interplay between common problematic AI behaviors as well as their potential impacts on different stakeholders, and narrates these conditions through vignettes. These vignettes are then filled in with descriptions of possible harms by prompting crowd workers and large language models. By examining 4113 harms surfaced by AHA! for five different AI deployment scenarios, we found that AHA! generates meaningful examples of harms, with different problematic AI behaviors resulting in different types of harms. Prompting both crowds and a large language model with the vignettes resulted in more diverse examples of harms than those generated by either the crowd or the model alone. To gauge AHA!'s potential practical utility, we also conducted semi-structured interviews with responsible AI professionals (N=9). Participants found AHA!'s systematic approach to surfacing harms important for ethical reflection and discovered meaningful stakeholders and harms they believed they would not have thought of otherwise. Participants, however, differed in their opinions about whether AHA! should be used upfront or as a secondary-check and noted that AHA! may shift harm anticipation from an ideation problem to a potentially demanding review problem. Drawing on our results, we discuss design implications of building tools to help practitioners envision possible harms.

研究の動機と目的

• 多様な関係者にわたるAIシステムの下流の害を積極的に予測し、動機づけて実現可能にする。
• 害の探究のための倫理マトリックスと文脈豊かなビネットを生成する半自動化プロセスを開発する。
• 複数の展開シナリオにわたり、クラウドソーシングと大規模言語モデルからの害の表層を経験的に評価する。
• 多様な害の生成のためにクラウドソーシングとLLMsを組み合わせることの付加価値を評価する。
• 責任あるAIワークフローにおけるAHA!の有用性と限界について実務者のフィードバックを収集する。

提案手法

• 大規模言語モデルを用いて展開シナリオのステークホルダー集合を自動的に生成する。
• 行がステークホルダー、列がAIの振る舞い（シナリオあたり16）となる倫理マトリックスを埋める。
• 文脈内でのAIの振る舞いに関するステークホルダーの経験を記述するビネットセルを作成する。
• クラウドソーシングと大規模言語モデル（GPT-3）を用いて害の記述でビネットを完成させる。
• 害を8カテゴリの分類法にコード化・クラスタリングする（例：割当に関する、表現に関する、権利/主体性など）。
• シナリオと振る舞いの次元全体での害の分布をカイ二乗検定と定性的コーディングを用いて分析する。

実験結果

リサーチクエスチョン

• RQ1 AHA! は、展開シナリオごとに意味のある害を表面化させるか。
• RQ2 AIの振る舞いのさまざまな次元（false positives と false negatives など）は、表出される害のタイプにどのように影響するか。
• RQ3 害を生成する際にクラウドソーシングとLLMの貢献はどの程度で、組み合わせは優れているか。
• RQ4 実務者はAHA! を前処方釈として使うことと二次的な検証として使うことについてどう考え、設計上どのような影響が生じるか。
• RQ5 関連する展開領域（例：採用 vs ローン）内で害は類似しているのか、類似していない領域間で異なるのか。

主な発見

• AHA! は、クラウドと GPT-3 の生成のうち 7% で意味のある害を表し、非意味的な部分のうち 63.2% は支離のあるものであった。
• 害のカテゴリの分布は、展開シナリオ間で有意に異なる（Chi-square, p < .0001）。
• false positives と false negatives は異なる害のタイプを先取りする。例えば FP は一部のシナリオでより多くの割当 harms、FN はより多くの表現 harms を生む。
• クラウドと GPT-3 は同等の害の数を生み出すが、害のタイプは異なる。両方を組み合わせると、単独のソースよりも多様な害が得られる。
• 実務者は広範な倫理的反省を促進し、関係者が見逃す可能性のある害を特定する点で AHA! を高く評価したが、前方使用と二次使用、作業負荷について意見は分かれた。
• AHA! は、実務家が可能性のある害を想像し反映するのを支援するツールの設計に対する示唆を提供する。