[論文レビュー] ESR: Ethics and Society Review of Artificial Intelligence Research

Michael S. Bernstein, Margaret Levi+4 more|arXiv (Cornell University)|Jun 22, 2021

Ethics and Social Impacts of AI参考文献 84被引用数 14

ひとこと要約

本論文はスタンフォード大学におけるAI研究のための必須機関的承認委員会であるエスセイアール（ESR）を紹介する。ESRは、人間被験を越えた社会的・倫理的リスクを評価する。41件の助成申請書をレビューした結果、マイノリティグループへの被害、ステークホルダーの包含、二重使用の懸念、データ表現の問題が繰り返し指摘された。研究者の58％が設計の変更を報告し、100％が再び関与することを表明しており、ESRがAI研究助成の統合的倫理統合に効果的であることが示された。

ABSTRACT

Artificial intelligence (AI) research is routinely criticized for its real and potential impacts on society, and we lack adequate institutional responses to this criticism and to the responsibility that it reflects. AI research often falls outside the purview of existing feedback mechanisms such as the Institutional Review Board (IRB), which are designed to evaluate harms to human subjects rather than harms to human society. In response, we have developed the Ethics and Society Review board (ESR), a feedback panel that works with researchers to mitigate negative ethical and societal aspects of AI research. The ESR's main insight is to serve as a requirement for funding: researchers cannot receive grant funding from a major AI funding program at our university until the researchers complete the ESR process for the proposal. In this article, we describe the ESR as we have designed and run it over its first year across 41 proposals. We analyze aggregate ESR feedback on these proposals, finding that the panel most commonly identifies issues of harms to minority groups, inclusion of diverse stakeholders in the research plan, dual use, and representation in data. Surveys and interviews of researchers who interacted with the ESR found that 58% felt that it had influenced the design of their research project, 100% are willing to continue submitting future projects to the ESR, and that they sought additional scaffolding for reasoning through ethics and society issues.

研究の動機と目的

• 人間被験を越えたAI研究における社会的・倫理的リスクを評価するための機関的メカニズムの欠如に応える。
• AIの社会的影響、特に制度的バイアス、労働力の代替、不均等な結果といった批判の増加に応える。
• 既存の助成メカニズムと併せて統合され、早期段階で倫理的配慮が組み込まれるよう、スケーラブルで必須の審査プロセスを開発する。
• 専門家パネルによる構造的・反復的なレビューを通じて、研究設計に影響を与えるフィードバックループを構築する。
• 他の大学や助成機関が採用可能な、AI研究における倫理的審査の制度化モデルを確立する。

提案手法

• スタンフォード大学におけるAI助成申請の前払い要件として、エスセイアール（ESR）を必須の審査プロセスとして導入する。
• ESRを助成プロセスに統合：研究者が助成申請と共に、倫理的・社会的影響に関する説明を提出する。
• 研究者と多様な分野のESRパネルとの間で反復的レビューを実施し、助成決定前にフィードバックと見直しを経る。
• 哲学科、政治学、医学、行動科学など多様な分野の専門家から構成されるパネルを用いて、社会的リスクを評価する。
• マイノリティグループへの被害、ステークホルダーの包含、二重使用リスク、データ表現の問題に重点を置いた構造的フィードバックプロセスを適用する。
• 研究者からのアンケートおよびインタビューのデータ収集と分析を通じて、ESRプロセスの影響と使いやすさを評価する。

実験結果

リサーチクエスチョン

• RQ1 伝統的なIRBの範囲外にあるAI研究における社会的・倫理的リスクを評価するための機関的レビュー・プロセスは、どのように設計できるか？
• RQ2 必須の倫理的レビュー・プロセスは、AI研究プロジェクトの設計および範囲にどの程度影響を及えるか？
• RQ3 このようなレビュー・プロセスを通じて、AI研究申請書で最も一般的に特定される倫理的・社会的リスクの種別は何か？
• RQ4 研究者は、必須の倫理的レビュー委員会の価値と影響をどのように認識しているか？
• RQ5 AI研究助成における倫理的統合を広範かつ公平かつ効果的に実現するための必要な機関的構造は何か？

主な発見

• ESRプロセスは初年度に41件のAI研究申請書に適用され、フィードバックを通じて複数のプロジェクトで繰り返し発生する倫理的懸念が特定された。
• 最も頻度の高かった問題は、マイノリティグループ（例：人種的・性的・社会経済的マイノリティ）への被害、研究設計における多様なステークホルダーの欠如、二重使用リスク、問題のあるデータ表現であった。
• 58％の研究者がESRのフィードバックによりプロジェクト設計に具体的な変更を加えたと報告しており、研究開発に実質的な影響を与えたことが示された。
• アンケートに回答した研究者の100％が、今後のプロジェクトをESRに提出することを表明しており、強い機関的受容性と価値認識が示された。
• 研究者は、審査プロセス自体を越えて、より構造的な倫理的思考支援を求めており、審査プロセスの外側でも支援体制の必要性が浮き彫りになった。
• ESRプロセスが、特に権力のダイナミクスや制度的不平等といった、これまで無視されがちな倫理的側面を研究者に想起させた場合、最も役立つと認識された。