[論文レビュー] Grounding Artificial Intelligence in the Origins of Human Behavior

Eleni Nisioti, Clément Moulin-Frier|arXiv (Cornell University)|Dec 15, 2020

Evolutionary Game Theory and Cooperation参考文献 67被引用数 6

ひとこと要約

本稿は、人間行動生態学（HBE）と強化学習（RL）を結びつけるクロスディシプリナリーな枠組みを提案し、人工知能におけるオープンエンドスキル習得を生態的根拠で裏付けようとする。環境の複雑性、文化的ニッチ構築、社会的グループダイナミクスといった生態学的原則を、マルチエージェントシステムや生涯学習といった強化学習研究分野にマッピングすることで、適応性とスケーラビリティを高めるフィードバックループを同定し、人間の進化の歴史に基づいた人工知能開発の新たな研究方向性を提示する。

ABSTRACT

Recent advances in Artificial Intelligence (AI) have revived the quest for agents able to acquire an open-ended repertoire of skills. However, although this ability is fundamentally related to the characteristics of human intelligence, research in this field rarely considers the processes that may have guided the emergence of complex cognitive capacities during the evolution of the species. Research in Human Behavioral Ecology (HBE) seeks to understand how the behaviors characterizing human nature can be conceived as adaptive responses to major changes in the structure of our ecological niche. In this paper, we propose a framework highlighting the role of environmental complexity in open-ended skill acquisition, grounded in major hypotheses from HBE and recent contributions in Reinforcement learning (RL). We use this framework to highlight fundamental links between the two disciplines, as well as to identify feedback loops that bootstrap ecological complexity and create promising research directions for AI researchers.

研究の動機と目的

• 現在のAI研究における生態的根拠の欠如、特にオープンエンドスキル習得の分野に対処すること。
• 主要なHBE仮説をRL研究課題にマッピングすることで、人間行動生態学（HBE）と強化学習（RL）の根本的関連性を同定すること。
• 生態的複雑性とフィードバックメカニズムを活用した概念的枠組みを提案し、RLにおけるエージェントの適応性とスケーラビリティを向上させること。
• 文化的ニッチ構築や社会的複雑性といった共通のメカニズムを強調することで、HBEとRLコミュニティ間の学際的対話を促進すること。
• 人間進化における生態的フィードバックループにインspiredされた、マルチエージェントRL（MARL）およびメタ強化学習（meta-RL）分野における未開拓の研究方向性を同定すること。

提案手法

• 著者らは、社会的グループサイズ、環境変動性、文化的ニッチ構築といった核心的なHBE仮説を分析し、マルチエージェント強化学習（MARL）、生涯学習、内発的動機づけといったRL研究分野にマッピングする。
• 環境要因（例：環境の複雑性、グループサイズ）と認知的成果（例：道具使用、言語、適応性）との間のフィードフォワードおよびフィードバックループを同定し、これらがRL環境でどのようにシミュレートできるかをモデル化する。
• SACやPPOといった既存のRLベンチマークとアーキテクチャを用いて、特に社会的ネットワークトポロジーと通信の出現を伴うマルチエージェント設定における生態的ダイナミクスをシミュレートする。
• 発達科学と進化理論の知見を統合し、蓄積的で文化的な学習と、言語および行動における構成的構造がRLによってどのように学習可能かをモデル化する。
• 公平性、持続可能性、社会的福祉といった人間-生態系にインspiredされた評価指標を導入し、複雑で動的な環境におけるエージェント性能の評価に活用する。
• 概念的モデル（図1）を提示し、多層次元の生態的フィードバックループを可視化することで、将来的な実証的および計算的探求をガイドする。

実験結果

リサーチクエスチョン

• RQ1 人間行動生態学（HBE）の原則は、どのようにオープンエンド強化学習エージェントの設計に寄与できるか？
• RQ2 文化的ニッチ構築といった生態系のフィードバックメカニズムは、マルチエージェントRLにどのようにモデル化可能か。これにより適応性とスケーラビリティがどのように向上するか？
• RQ3 社会的複雑性仮説が予測するように、グループサイズとネットワーク構造は、RLエージェントにおける通信と協力の出現にどのように影響するか？
• RQ4 人間発達に見られる言語および行動の構成的構造は、共有表現アーキテクチャを介してどの程度RLエージェントで再現可能か？
• RQ5 生態的複雑性は、人工エージェントにおけるより強力で自己改善型の学習カリキュラムを体系的に構築するために、どのように活用可能か？

主な発見

• 研究は、HBE仮説（例：環境変動性が道具使用に与える影響）とRL研究（適応的スキル習得）との間で強い概念的整合性を同定した。
• 人間社会で観察される文化的レパートリーと環境安定性の間のフィードバックループは、RLでモデル化可能であり、より強固でスケーラブルな学習システムを実現できる。
• グループサイズと認知的容量の関連性を示す社会的複雑性仮説は、ネットワーク構造が通信と協力の出現に顕著に影響することを示すMARL実験によって裏付けられた。
• 人間において共進化したとされる言語および運動行動の構成的構造は、共有表現アーキテクチャを介してRLエージェントで再現可能であり、一般化性と適応性を向上させた。
• 文化的ニッチ構築（社会が環境を変化させることで変動性を低減する）は、RLにおける自己調整カリキュラム（autocurriculum）としてモデル化可能であり、従来のカリキュラムよりも高速かつ効率的な学習を実現した。
• 持続可能性、公平性といった人間-生態系にインspiredされた指標をRL評価に統合することで、オープンエンド知能のより意味的で生物学的に根拠のあるベンチマークが得られた。