[論文レビュー] Overcoming Failures of Imagination in AI Infused System Development and Deployment

Margarita Boyarskaya, Alexandra Olteanu+1 more|arXiv (Cornell University)|Nov 26, 2020

Ethics and Social Impacts of AI参考文献 35被引用数 19

ひとこと要約

この論文は、チェックリストに基づく影響評価を越えて、文脈に配慮した、ステークホルダーを含む枠組みを提唱することで、AIシステム開発における「想像力の欠如」を扱う。社会的・技術的アフォーダンス、多様なステークホルダー、広範な害の代理指標を統合することで、AIシステムにおける予期しない結果の予測を改善することを提言する。

ABSTRACT

NeurIPS 2020 requested that research paper submissions include impact statements on "potential nefarious uses and the consequences of failure." However, as researchers, practitioners and system designers, a key challenge to anticipating risks is overcoming what Clarke (1962) called 'failures of imagination.' The growing research on bias, fairness, and transparency in computational systems aims to illuminate and mitigate harms, and could thus help inform reflections on possible negative impacts of particular pieces of technical work. The prevalent notion of computational harms -- narrowly construed as either allocational or representational harms -- does not fully capture the open, context dependent, and unobservable nature of harms across the wide range of AI infused systems.The current literature focuses on a small range of examples of harms to motivate algorithmic fixes, overlooking the wider scope of probable harms and the way these harms might affect different stakeholders. The system affordances may also exacerbate harms in unpredictable ways, as they determine stakeholders' control(including of non-users) over how they use and interact with a system output. To effectively assist in anticipating harmful uses, we argue that frameworks of harms must be context-aware and consider a wider range of potential stakeholders, system affordances, as well as viable proxies for assessing harms in the widest sense.

研究の動機と目的

• AIシステムの有害な用途を予測するという、常に続く課題「想像力の欠如」に対処すること、特にそのような害が事前に予測できない場合に特に焦点を当てる。
• 現在の影響評価手法の限界、特にNeurIPSの包括的影響文書（broader social impact statements）の限界を批判すること。これらはしばしば狭い、規定的なチェックリストに依存しており、害の体系的かつ文脈的側面を無視している。
• 既存の害の枠組み（例：割り当て的または表象的害）が、AIに組み込まれたシステムにおける開かれた、文脈依存的で、しばしば観察できない性質の害を十分に捉えていないことを主張すること。
• リスク予測の想像的範囲を拡大するために、学際的協働、自己反省的プロセス、脆弱なステークホルダーの参加を設計および評価プロセスに組み込む必要性を強調すること。
• 技術的・チェックリスト中心の影響文書から、システムのアフォーダンス、ステークホルダーの自律性、進化する社会的・技術的ダイナミクスを考慮する、より動的で文脈に配慮した枠組みへの移行を提言すること。

提案手法

• 2020年NeurIPS論文の包括的影響文書を分析し、害の予測と伝達における繰り返しパターンと限界を同定する。
• 批判理論、責任あるイノベーション、技術評価を基盤に、二元的またはチェックリスト中心の害分類を越える枠組みを構築する。
• 「社会的・技術的アフォーダンス」の概念を導入し、システム設計がステークホルダーのコントロールと相互作用にどのように影響し、害の可能性を形づくるかを理解するためのレンズとする。
• 一般用途AIモデルにおいて特に顕著な技術の中立性や善性の仮定を疑う自己反省的実践を提唱する。
• AI開発ライフサイクル全体にわたり、分野の専門家（例：社会学者、倫理学者）および影響を受けるステークホルダーを含めることを提言し、想像される害の範囲を広げる。
• 直接的結果だけでなく、間接的、蓄積的、心理的影響（感情的苦痛、自律性の喪失、構造的不平等など）を含めた害の評価を再定式化すること。

実験結果

リサーチクエスチョン

• RQ1 現在のAI研究における包括的影響文書は、想像力の限界とステークホルダーの包摂の欠如により、複雑で文脈依存的な害をどのようにうまく予測できていないのか？
• RQ2 割り当て的または表象的害といった現在の害タイプ分類は、AIシステムにおける潜在的負の影響の全範囲を捉えるのにどの程度限界を示しているのか？
• RQ3 システムのアフォーダンスは、特にステークホルダーのコントロールと自律性に関連して、害の発生確率と性質にどのように影響するのか？
• RQ4 AI研究における技術の中立性と善性の仮定は、影響評価における盲点をどのように生じさせているのか？
• RQ5 多様なステークホルダーの経験に応じて、より包摂的で自己反省的かつ反応的な害の予測を実現するための構造的・メソドロジカルな変化は何か？

主な発見

• 2020年NeurIPSの包括的影響文書の多くは、動的で文脈依存的かつしばしば観察できないAIの害の性質を十分に反映していない、狭いチェックリスト中心のアプローチを示している。
• 一般用途モデル（例：センチメント分類器）における技術の非中立性の仮定は、社会的・技術的文脈を考慮せずに再利用された場合に、意図しない有害な応用を引き起こす可能性がある。
• システムのアフォーダンスは、ステークホルダーがAI出力とどのように相互作用するかを著しく形づくることができ、特に非ユーザーまたは弱い立場のグループではコントロールを制限することで害を悪化させる可能性がある。
• 現在の影響評価手法は、脆弱なステークホルダーをしばしば無視しており、とくに心理的または構造的不平等に関連する予見可能な害の特定に盲点を生じさせている。
• 影響評価に包摂的で自己反省的かつ反応的なプロセスが欠如していることは、現実の害を防ぐために包括的影響文書の有効性を損なっている。
• 現在の規定的または制限的なチェックリストでは達成できない範囲を超えて、AIリスク予測の想像的範囲を拡大するためには、文脈に配慮した、ステークホルダーに裏付けられた枠組みへの移行が不可欠である。