[論文レビュー] The Offense-Defense Balance of Scientific Knowledge: Does Publishing AI Research Reduce Misuse?

Toby Shevlane, Allan Dafoe|arXiv (Cornell University)|Dec 27, 2019

Adversarial Robustness in Machine Learning参考文献 11被引用数 8

ひとこと要約

この論文は、AI研究の公開が誤用のリスクを増大させるか否かを評価する理論的枠組みを構築し、コンピュータセキュリティとは異なり、AI分野では防御側と攻撃側の両方が事前に知識を有する割合が高いため、開示によるセキュリティ上の利益が弱い可能性があると主張する。AI分野に特有の技術的・社会的ダイナミクスを踏まえた、ソフトウェアの脆弱性開示とは異なる開示規範の設計をAIコミュニティに提言する。

ABSTRACT

There is growing concern over the potential misuse of artificial intelligence (AI) research. Publishing scientific research can facilitate misuse of the technology, but the research can also contribute to protections against misuse. This paper addresses the balance between these two effects. Our theoretical framework elucidates the factors governing whether the published research will be more useful for attackers or defenders, such as the possibility for adequate defensive measures, or the independent discovery of the knowledge outside of the scientific community. The balance will vary across scientific fields. However, we show that the existing conversation within AI has imported concepts and conclusions from prior debates within computer security over the disclosure of software vulnerabilities. While disclosure of software vulnerabilities often favours defence, this cannot be assumed for AI research. The AI research community should consider concepts and policies from a broad set of adjacent fields, and ultimately needs to craft policy well-suited to its particular challenges.

研究の動機と目的

• AI研究の開示における攻撃・防御のバランスを検討し、公開が攻撃者にとって防御者よりも利益をもたらすかどうかを評価すること。
• AI研究の開示規範が、特に脆弱性開示に関して、コンピュータセキュリティの規範を模倣すべきであるという仮定に疑問を呈すること。
• 防衛策の実現可能性、攻撃者・防御者の事前所有状況、独立的発見の可能性、保護コストといった要因が、公開がセキュリティを強化するか否かを決定づけるかを特定すること。
• 開かれた研究と誤用防止の両立を図る文脈に応じた開示規範の開発をAI研究コミュニティに導くこと。
• 進化するAI能力に応じてスケーラブルなガバナンスメカニズムを構築することを促すこと。

提案手法

• 攻撃・防御のダイナミクスに基づき、コンピュータセキュリティ、バイオセキュリティ、暗号技術からの類似例を援用して理論的枠組みを構築する。
• 防衛策の実現可能性、攻撃者・防御者の事前所有状況、独立的発見の可能性、保護コストの4つの要因を通じて、開示の影響を評価する。
• GPT-2言語モデルの開示を事例として、この枠組みの実世界への応用を説明する。
• ソフトウェアの脆弱性とAI研究との違いを比較分析し、知識のアクセス可能性と複製コストの観点から差異を明らかにする。
• 大手テック企業が防衛策を独立して開発する役割を含む制度的要因をモデルに組み込む。
• 一様な規範ではなく、文脈に応じた政策設計の重要性を強調する。

実験結果

リサーチクエスチョン

• RQ1 AI研究の公開が誤用リスクを増大させる条件は何か？
• RQ2 AI研究における攻撃・防御のバランスは、コンピュータセキュリティの脆弱性開示とはどのように異なるか？
• RQ3 防衛者が公開なしにAI研究を独立して再現できる程度はどの程度か？ これにより、開示のセキュリティ的価値が低下する。
• RQ4 大手テック企業などの制度的主体は、事前防衛開発においてどの程度の役割を果たすか？
• RQ5 AI能力の進化に伴い、効果的かつ持続可能な開示規範をAI研究コミュニティがどのように設計できるか？

主な発見

• AI研究の公開におけるセキュリティ的価値は、パッチ適用が迅速に可能となるコンピュータセキュリティに比べて、おそらく弱い。
• AIの誤用防止のための防衛策、例えば検出システムは、しばしば高価であり、広く導入されないため、公開による利益が低下する。
• 特に大手テック企業を含む多くの防衛者は、研究者と同様の知見を独立して発見する可能性が高く、公開による防衛の独自価値が低下する。
• 政府機関を含む攻撃者も、AI研究を独立して再現できる能力を有する可能性があり、公開による誤用リスクが増大する。
• 科学コミュニティ外での独立的発見の可能性が高いため、特に防衛策の実装コストが高い場合、開示のネットセキュリティ的利益は低下する。
• AI研究コミュニティは、コンピュータセキュリティの規範を直接輸入すべきではなく、AIに特有の技術的・社会的ダイナミクスに適合したガバナンス枠組みを構築すべきである。