[論文レビュー] Investigating Responsible AI for Scientific Research: An Empirical Study

Muneera Bano, Didar Zowghi+2 more|arXiv (Cornell University)|Dec 15, 2023

Ethics and Social Impacts of AI被引用数 4

ひとこと要約

本研究は、混合手法を用いた実証的調査を通じて、科学的研究機関における責任あるAI（RAI）実践を検討した。AIプロジェクトチームを対象としたアンケートとインタビューを実施した結果、倫理的AI認識の格差、AI倫理フレームワークへのなじみの少なさ、倫理的リスクの過小評価が明らかになった。これらは、公平性、責任性、透明性を確保するための構造的で段階的なRAI研修およびガバナンス枠組みの緊急の必要性を示唆している。

ABSTRACT

Scientific research organizations that are developing and deploying Artificial Intelligence (AI) systems are at the intersection of technological progress and ethical considerations. The push for Responsible AI (RAI) in such institutions underscores the increasing emphasis on integrating ethical considerations within AI design and development, championing core values like fairness, accountability, and transparency. For scientific research organizations, prioritizing these practices is paramount not just for mitigating biases and ensuring inclusivity, but also for fostering trust in AI systems among both users and broader stakeholders. In this paper, we explore the practices at a research organization concerning RAI practices, aiming to assess the awareness and preparedness regarding the ethical risks inherent in AI design and development. We have adopted a mixed-method research approach, utilising a comprehensive survey combined with follow-up in-depth interviews with selected participants from AI-related projects. Our results have revealed certain knowledge gaps concerning ethical, responsible, and inclusive AI, with limitations in awareness of the available AI ethics frameworks. This revealed an overarching underestimation of the ethical risks that AI technologies can present, especially when implemented without proper guidelines and governance. Our findings reveal the need for a holistic and multi-tiered strategy to uplift capabilities and better support science research teams for responsible, ethical, and inclusive AI development and deployment.

研究の動機と目的

• 科学的研究機関における責任あるAI（RAI）実践に関する認識および準備状況を評価すること。
• 研究現場におけるAI実務者たちの、倫理的・責任ある・包摂的なAIに関する知識格差を特定すること。
• 科学的AI開発プロジェクトにおいて、AI倫理フレームワークがどの程度認識され、適用されているかを検証すること。
• 研究文脈における、倫理的AIガバナンスおよびリスク低減戦略の実施に向けた機関の準備状況を評価すること。

提案手法

• 混合研究手法を採用し、包括的なアンケートとその後の詳細インタビューを統合した。
• アンケートは、研究機関内の複数のプロジェクトにまたがるAI実務者を対象に実施され、RAIの知識と実践状況を評価した。
• アンケート参加者の中から選ばれた対象者に対して、倫理的AI実装に関する複雑な課題や認識を深く探るための詳細インタビューが実施された。
• トピック分析を用いてインタビューデータを解釈し、倫理的リスク認識やフレームワークのなじみに関する繰り返しパターンを特定した。
• アンケートデータは定量的に分析され、認識度、リスクの認識度、既存のAI倫理フレームワークの使用状況を測定した。
• 調査結果は、アンケートとインタビューの両データを統合して検証し、RAIの準備状況および機関的な格差に関する洞察を裏付けた。

実験結果

リサーチクエスチョン

• RQ1 科学的AI開発プロジェクトにおいて、AIシステムに関連する倫理的リスクについて、研究チームはどの程度認識しているか。
• RQ2 研究機関のAI実務者は、EU、OECD、IEEEなど既存のAI倫理フレームワークやガイドラインについてどの程度熟知しているか。
• RQ3 科学的AI開発における責任あるAI実践の実施に向けた主な障壁は何か。
• RQ4 研究者は、AIシステムにおける倫理的リスクを軽減するためのガバナンスおよび監視の役割をどのように捉えているか。
• RQ5 科学的AI研究チーム全体におけるRAI能力を向上させるために、どのような機関戦略が必要か。

主な発見

• 科学的研究機関に所属するAI実務者の多くが、バイアスや公平性に関するAI開発における核心的な倫理的リスクについて、認識が乏しいことが明らかになった。
• 参加者の僅か少数しか、EU、OECD、IEEEなどの既存のAI倫理フレームワークを把握しておらず、実際に適用している者も少なかった。
• 特に公式なレビューまたは監査プロセスが整わない状況でAIシステムが開発された場合、倫理的リスクが広く過小評価されていることが明らかになった。
• 参加者たちは、倫理的意思決定を向上させるために、訓練および標準化されたRAI評価ツールを含む機関的支援の必要性を強く感じていた。
• ガバナンス構造に深刻な格差が存在し、AIの展開における責任性と透明性を保証するための公式なメカニズムがほとんど整備されていなかった。
• 公平性や透明性の重要性は認識されているものの、実際の実装はAIプロジェクト間で一貫性がなく、ばらつきが見られた。