[論文レビュー] Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims

Miles Brundage, Shahar Avin+57 more|Data Archiving and Networked Services (DANS)|Apr 15, 2020

Ethics and Social Impacts of AI被引用数 212

ひとこと要約

この報告書は、AI開発について検証可能な主張を生成するための制度・ソフトウェア・ハードウェア機構の toolbox を提案し、開発者、規制当局、社会の間の説明責任と信頼を高めることを目的としている。

ABSTRACT

With the recent wave of progress in artificial intelligence (AI) has come a growing awareness of the large-scale impacts of AI systems, and recognition that existing regulations and norms in industry and academia are insufficient to ensure responsible AI development. In order for AI developers to earn trust from system users, customers, civil society, governments, and other stakeholders that they are building AI responsibly, they will need to make verifiable claims to which they can be held accountable. Those outside of a given organization also need effective means of scrutinizing such claims. This report suggests various steps that different stakeholders can take to improve the verifiability of claims made about AI systems and their associated development processes, with a focus on providing evidence about the safety, security, fairness, and privacy protection of AI systems. We analyze ten mechanisms for this purpose--spanning institutions, software, and hardware--and make recommendations aimed at implementing, exploring, or improving those mechanisms.

研究の動機と目的

• 倫理原則からAI開発に関する検証可能な主張へと移行を促す。
• 検証可能な主張を定義し、それを裏付ける証拠の種類を特定する。
• 機関・ソフトウェア・ハードウェア全体にまたがる包括的な機構の toolbox を提案する。
• これらの機構を実装・拡張するための実行可能な推奨事項を提供する。

提案手法

• 機構を三つの相互に絡み合う柱—機関、ソフトウェア、ハードウェア—に整理する。
• 第三者監査、レッドチーム演習、バイアスと安全性の賞金、AIインシデントの共有（機関的）などの機構を調査・検討する。
• 監査証跡、解釈性、プライバシー保護機械学習をコアソフトウェア機構として特定する（証拠経路を伴って）。
• セキュアハードウェア、高精度の計算測定、学術機関への計算支援をハードウェア機構として強調（検証の含意を伴って）。
• ツールボックスを形成したワークショップの過程を具体的な推奨事項として提供する（付録I）。

実験結果

リサーチクエスチョン

• RQ1 AI開発についての主張の検証可能性を強化する機構とは何か。
• RQ2 制度的・ソフトウェア・ハードウェアの機構をどのように設計・調整して、さまざまな利害関係者が検証を可能にできるか。
• RQ3 第三者監査、レッドチーミング、安全性とバイアス発見のためのインセンティブ構造を実装するには、どのような具体的なステップ（および協力関係）が必要か。
• RQ4 監査証跡、解釈性、プライバシー保護MLは、AIシステムの安全性・セキュリティ・プライバシーに関する主張をどう裏付けるか。
• RQ5 ハードウェアのセキュリティ機能と計算の透明性は、検証可能な主張の支援においてどんな役割を果たすか。

主な発見

• 多様な機構のツールボックスは、AI開発の検証可能性を高め、倫理洗浄のリスクを低減できる。
• 制度的機構は、検証可能な主張を支えるインセンティブ、透明性、情報共有を形成する。
• ソフトウェア機構は、監査証跡、解釈可能性、プライバシー保護MLを通じてシステム特性の証拠を提供する。
• ハードウェア機構は、セキュアハードウェア、正確な計算測定、検証のための研究支援を通じてより高い保証を提供する。
• 産業界、学界、政府の協力—複数の利害関係者によるエコシステム—が、これらの機構を拡大するために不可欠である。
• 本報告は、実行可能な推奨事項と、原則から検証可能でテスト可能なAI開発の主張へと繋ぐ道筋を強調している。