[論文レビュー] Autocurricula and the Emergence of Innovation from Social Interaction: A Manifesto for Multi-Agent Intelligence Research

Joel Z. Leibo, Edward Hughes+2 more|arXiv (Cornell University)|Mar 2, 2019

Evolutionary Algorithms and Applications参考文献 81被引用数 65

ひとこと要約

本論文は、社会的相互作用から生じる自己進化カリキュラム（autocurriculum）が継続的な革新の推進力となると提案し、外生的・内生的な課題を分類し、知性と進化に対するマルチエージェントの視点を主張している。

ABSTRACT

Evolution has produced a multi-scale mosaic of interacting adaptive units. Innovations arise when perturbations push parts of the system away from stable equilibria into new regimes where previously well-adapted solutions no longer work. Here we explore the hypothesis that multi-agent systems sometimes display intrinsic dynamics arising from competition and cooperation that provide a naturally emergent curriculum, which we term an autocurriculum. The solution of one social task often begets new social tasks, continually generating novel challenges, and thereby promoting innovation. Under certain conditions these challenges may become increasingly complex over time, demanding that agents accumulate ever more innovations.

研究の動機と目的

• 自己進化カリキュラム（autocurriculum）を定義し、適応単位の階層レベル全体で革新を推進する役割を説明する。
• 非定常な社会的相互作用が自ら生み出す学習課題（外生的および内生的）をどう生み出すかを説明する。
• 自己進化カリキュラムを競争と協力によって分類し、AI研究と進化への影響を論じる。
• 社会的記憶と制度によって可能になるフィードバックループから、累積的文化進化と人間の独自性が生じると主張する。

提案手法

• 自己進化カリキュラム概念を紹介し、定義を形式化する（適応単位、実装ポリシー、課題）。
• 内生的課題と外生的課題を区別し、競争と協力のダイナミクスと結びつける。
• 強化学習、経験的ゲーム理論、自己対戦からの機序を調査・統合し、自己進化カリキュラムの生成を例示する（例: TD-Gammon、AlphaGo/Zero 系）。
• 制度、共有資源、社会的ジレンマといった進化的・組織的類比を論じ、自己進化カリキュラムが時とともに複雑さを高め得ることを示す。
• 自己進化カリキュラムを進化生物学とマルチエージェント強化学習研究の視点として研究する枠組みを提案する。

実験結果

リサーチクエスチョン

• RQ1 自己進化カリキュラムは、問題問題を解決するのに十分に多様な課題を生み出せるか？
• RQ2 戦略と実装の二重性は、コミュニティやより高次の適応単位のレベルのでも存続するか？
• RQ3 社会的ジレンマのノーフリーランチ性を自己進化カリキュラムの文脈で形式化できるか？
• RQ4 自己進化カリキュラム現象は、高次の個体の進化（例: 多細胞性、協働性）やマルチエージェント強化学習の転換に寄与したか？
• RQ5 異なる階層レベルにまたがる課題はどのように相互作用し、フィードバックループは累積文化やシミュレーション内での自己家畜化を生み出せるか？

主な発見

• 自己進化カリキュラムは、階層的レベルを横断する適応単位間の相互作用から生じ、学習風景を撹乱する適応課題の連鎖を生み出す。
• 外生的自己進化カリキュラムは競争ダイナミクスと自己対戦から生じ、囲碁・チェス・競争的強化学習設定のようなゲームで継続的な革新を促す可能性がある。
• 内生的自己進化カリキュラムは内部の集合動力学と社会的制度から生じ、協力・処罰・統治機構を形成する。
• 自己対戦と記憶豊かな社会的過程は革新を維持し、言語と制度によって支援された人間の累積的文化進化の基盤となる可能性がある。
• この枠組みは社会的ジレンマにおけるノーフリーランチ様の特性を強調し、持続的な集合行動問題を解決し自己進化カリキュラムを維持するためには高次の制度が必要である。