[論文レビュー] Open Problems in Cooperative AI

Allan Dafoe, Edward Hughes+6 more|arXiv (Cornell University)|Dec 15, 2020

Evolutionary Game Theory and Cooperation参考文献 322被引用数 17

ひとこと要約

本稿は、人工知能システムが人間や他のエージェントと効果的に協力できるようにする能力を備えることを目指す、協働的AI（Cooperative AI）という新しい研究分野を提唱している。理解、コミュニケーション、コミットメント、制度といった協働的能力の柱を提示するとともに、学際的統合と強制や排除といったリスクの緩和を強調している。

ABSTRACT

Problems of cooperation--in which agents seek ways to jointly improve their welfare--are ubiquitous and important. They can be found at scales ranging from our daily routines--such as driving on highways, scheduling meetings, and working collaboratively--to our global challenges--such as peace, commerce, and pandemic preparedness. Arguably, the success of the human species is rooted in our ability to cooperate. Since machines powered by artificial intelligence are playing an ever greater role in our lives, it will be important to equip them with the capabilities necessary to cooperate and to foster cooperation. We see an opportunity for the field of artificial intelligence to explicitly focus effort on this class of problems, which we term Cooperative AI. The objective of this research would be to study the many aspects of the problems of cooperation and to innovate in AI to contribute to solving these problems. Central goals include building machine agents with the capabilities needed for cooperation, building tools to foster cooperation in populations of (machine and/or human) agents, and otherwise conducting AI research for insight relevant to problems of cooperation. This research integrates ongoing work on multi-agent systems, game theory and social choice, human-machine interaction and alignment, natural-language processing, and the construction of social tools and platforms. However, Cooperative AI is not the union of these existing areas, but rather an independent bet about the productivity of specific kinds of conversations that involve these and other areas. We see opportunity to more explicitly focus on the problem of cooperation, to construct unified theory and vocabulary, and to build bridges with adjacent communities working on cooperation, including in the natural, social, and behavioural sciences.

研究の動機と目的

• 現実世界の設定において、AIシステムが人間や他のエージェントと効果的に協力する必要が高まるのに対応すること。
• 理解、コミュニケーション、コミットメント、制度設計といった協力に不可欠なコア能力を特定・体系化すること。
• 協力問題に関する統一的理論的・語彙的フレームワークを構築することで、AI研究と社会科学の橋渡しをすること。
• 排除、共謀、強制といった協働的AIの潜在的リスクを研究し、人間の福祉に向けた開発を導くこと。
• スケーラブルな協力ソリューションを実現するため、AI、ゲーム理論、社会選択、ヒューマンコンピュータインタラクションの分野間連携を促進すること。

提案手法

• 戦略的文脈、共通利益対対立利益、個別的視点対プランナー視点といった次元に沿って、協働的機会を分類すること。
• 理解（世界、行動、好み、再帰的信念の理解）、コミュニケーション（共通の土台、帯域幅、教え込み、混合動機）、コミットメント（単独的・多者的、条件付き・無条件）、制度（分散型の規範、集中型システム、信頼メカニズム）の4つのコアコンponentsに協働的能力を構造化すること。
• 協働スキルが不可欠であり、学習可能で非自明な学習環境およびタスクを機械学習分野で開発することを提唱すること。
• マルチエージェントシステム、ゲーム理論、メカニズム設計、自然言語処理、解釈可能性の知見を統合し、協働的AIシステムを構築すること。
• 好み学習やアライメント技術を通じて、人間の価値観と倫理的規範を協働的AIに組み込むこと。
• レピュテーションシステムや仲介アルゴリズムを含む、人間と機械エージェントの集団における協力を支援するツールおよびプラットフォームを設計すること。

実験結果

リサーチクエスチョン

• RQ1 協働的状況下で、AIエージェントは他のエージェントの信念、好み、行動をどのように理解できるように設計できるか？
• RQ2 混合動機条件下で、効率的で耐障害的かつ公平な協力を実現するためのコミュニケーションメカニズムは何か？
• RQ3 長期的調整を支援するのに最も適した協働的コミットメントの形態は何か？（単独的、多者的、条件付き、ハードウェア埋め込みなど）
• RQ4 AIおよび人間エージェント間のスケーラブルで分散型の協力を支援するため、制度や規範をどのように設計できるか？
• RQ5 排除や強制といった協働的AI能力のリスクは何か？ そして、技術的・制度的設計によってそれらをどのように緩和できるか？

主な発見

• 協働的AIは、既存のAI分野の単なる統合ではなく、焦点を当てた学際的対話が不可欠な、明確な研究アジェンダである。
• 本稿は、理解、コミュニケーション、コミットメント、制度の4つのコア能力を、協働的AIシステムを構築するために不可欠であると特定している。
• AIにおける効果的な協力には、ゲーム理論、社会選択、マルチエージェントシステム、ヒューマンコンピュータインタラクションの知見統合が不可欠である。
• 高自律性を持つシステムにおいて、共謀、強制、排除といったリスクへの注意を払うことが、協働的AIの開発において不可欠である。
• 機械学習における訓練環境およびタスクは、協働スキルが不可欠であり、かつ学習可能であるように設計され、スケーラブルな協力を可能にするべきである。
• 本研究アジェンダは、AI研究を協力に関する広範な科学的・社会的取り組みと結びつけるための統一理論と共有語彙の構築を要請している。