[論文レビュー] The tension between openness and prudence in AI research

Jess Whittlestone, Aviv Ovadya|arXiv (Cornell University)|Oct 2, 2019

Explainable Artificial Intelligence (XAI)参考文献 5被引用数 6

ひとこと要約

この論文は、AI研究における開放性と慎重さの両立の緊張を検討し、責任ある出版規範が、広範な科学的共有と悪用防止のバランスを取るために必要であると提唱している。研究機関が支援する仕組み——例えば、出版前リスク評価や調整された開示——を導入することで、開放性を維持しながら害を軽減できるとし、生物学的倫理学やサイバーセキュリティ分野のモデルを参考にしている。

ABSTRACT

This paper explores the tension between openness and prudence in AI research, evident in two core principles of the Montréal Declaration for Responsible AI. While the AI community has strong norms around open sharing of research, concerns about the potential harms arising from misuse of research are growing, prompting some to consider whether the field of AI needs to reconsider publication norms. We discuss how different beliefs and values can lead to differing perspectives on how the AI community should manage this tension, and explore implications for what responsible publication norms in AI research might look like in practice.

研究の動機と目的

• AI研究におけるオープンな科学的共有と慎重さの間の倫理的・実務的緊張を分析すること。特に、悪用の可能性を含む。
• AI研究の出版を制限する立場の違いの背後にある核心的信念——リスク認識、制限の有効性、将来の技術的ニーズ——を特定すること。
• AI分野における責任ある出版規範を、開放性を保ちつつ悪用リスクを軽減する制度的メカニズムを通じて再考・改革すること。
• AI分野における責任ある研究実践に関する継続的議論を促進する、コミュニティ全体の枠組みと場の開発を促すこと。

提案手法

• モントリオール宣言の原則——慎重さと民主的アクセス——を検討し、開放性と慎重さの緊張を理解するための概念的分析を実施する。
• 意見の相違を形作る3つの核心的信念クラスタを特定する：悪用リスクに関する信念、制限的リリースの有効性に関する信念、将来のAI能力とニーズに関する信念。
• 生物学分野の二重用途研究やサイバーセキュリティ分野の脆弱性開示の協調的プロトコルを類推し、AI出版ガバナンスの制度的モデルを提示する。
• 生物医学研究におけるIRB（研究倫理委員会）に類似した、研究ライフサイクルの初期段階での潜在的有害な研究方向性の評価を組み込むリスク評価の統合を提言する。
• 遅延公開や条件付きリリースなどの代替出版規範を、透明な意思決定プロセスを伴って、実験的・会場ベースでテストすることを推奨する。
• 主要なAI会議で定期的なワークショップやフォーラムを設けることで、責任ある研究規範に関するコミュニティ参加を促進することを提唱する。

実験結果

リサーチクエスチョン

• RQ1 AI研究の出版制限に関する異なる見解の背後にある、リスク、有効性、将来の能力に関する具体的な信念は何か？
• RQ2 潜在的な悪用のリスクを考慮しつつ、AI研究の出版規範をどのように改革すれば、開放性と慎重さのバランスを取れるか？
• RQ3 生物学的倫理学やサイバーセキュリティ分野のインスピレーションを得た、責任あるかつ調整されたAI研究の開示を支援する制度的メカニズムは何か？
• RQ4 AI研究における開放性の低下がもたらす潜在的害は何か？ それらは、悪用リスクへの対応を維持しつつ、どのように軽減できるか？
• RQ5 AI研究の初期段階に、リスク評価をどのように意味的に統合すれば、高リスクの研究方向性を防ぎつつ、イノベーションを阻害しないか？

主な発見

• AI研究における開放性と慎重さの緊張は、本質的に対立する価値観に起因するのではなく、リスク認識、制限の有効性、将来の技術的トレジャクトリーに関する異なる信念に起因する。
• 出版の制限は、悪用を完全に防ぐものではない。意思の強い実行主体は、独自にモデルを再現または公開する可能性があるが、調整された遅延は防御的準備を可能にする。
• 開放性の低下は、エリート研究グループや国々における力の集中を助長し、AIの進展に対する公平なアクセスを損なうリスクを伴う。
• 出版前リスク評価や調整された開示といった制度化されたプロセスは、透明性と正当性が保たれれば、開放性を維持しながら悪用リスクを低減するのに役立つ。
• 外部の専門家（例：フェイクニュース対策のセキュリティ研究者）と共同で脅威モデリングを行うことで、合成メディアなどのハイリスク分野におけるリスク同定を改善できる。
• 遅延公開や会場レベルのポリシー実験といった代替出版規範の実験的導入は不可欠であり、主要なAI会議で専用のフォーラムやワークショップを設けることで支援すべきである。