[論文レビュー] Language and Culture Internalisation for Human-Like Autotelic AI

Cédric Colas, Tristan Karch+2 more|arXiv (Cornell University)|Jun 2, 2022

Language and cultural evolution被引用数 1

ひとこと要約

本稿では、人工エージェントが社会的・文化的な相互作用—特に言語—を認知的ツールとして内省することで、無限に発展可能な人間らしいスキル開発を可能にする、ヴィゴツキー的自己動機づけAI（Vygotskian Autotelic AI）という枠組みを提案する。大規模言語モデルを文化的モデルとして統合することで、エージェントは目標生成、抽象化、長期的計画に言語を活用し、現在の自己動機づけ強化学習システムをはるかに超える探査の多様性と認知的柔軟性を実現する。

ABSTRACT

Building autonomous agents able to grow open-ended repertoires of skills across their lives is a fundamental goal of artificial intelligence (AI). A promising developmental approach recommends the design of intrinsically motivated agents that learn new skills by generating and pursuing their own goals - autotelic agents. But despite recent progress, existing algorithms still show serious limitations in terms of goal diversity, exploration, generalisation or skill composition. This perspective calls for the immersion of autotelic agents into rich socio-cultural worlds, an immensely important attribute of our environment that shapes human cognition but is mostly omitted in modern AI. Inspired by the seminal work of Vygotsky, we propose Vygotskian autotelic agents - agents able to internalise their interactions with others and turn them into cognitive tools. We focus on language and show how its structure and informational content may support the development of new cognitive functions in artificial agents as it does in humans. We justify the approach by uncovering several examples of new artificial cognitive functions emerging from interactions between language and embodiment in recent works at the intersection of deep reinforcement learning and natural language processing. Looking forward, we highlight future opportunities and challenges for Vygotskian Autotelic AI research, including the use of language models as cultural models supporting artificial cognitive development.

研究の動機と目的

• 現在の自己動機づけ強化学習エージェントが直面する目標の多様性、抽象化、長期的計画の限界を克服する。
• 従来のエージェントが特徴づける狭く具体的な目標表現を、社会的・文化的および言語的入力を認知的発達に統合することで克服する。
• 人工エージェントが社会的・文化的相互作用—特に言語—を認知的ツールとして内省し、想像力や一般化といった高次関数を支援するようにする。
• 内的動機づけと文化的な支援の間のギャップを埋め、人工エージェントにおける生涯にわたる無限の学習を支援する。
• 大規模言語モデルがどのように文化的モデルとして機能し、自律エージェントの認知的発達を導き、豊かにするかを探索する。

提案手法

• エージェントが身体的および社会的・文化的相互作用を自己生成された目標、注意的バイアス、記憶戦略といった認知的ツールに内省する、ヴィゴツキー的自己動機づけ強化学習（Vygotskian RL）フレームワークを提案する。
• GPT-3、PaLMなどの言語モデルを文化的モデルとして統合し、目標発見と認知的発達をガイドする構造的言語入力を提供する。
• 刺激と行動の間で言語を媒介することで、即時の感覚的入力以上の抽象的・構成的・創造的な目標を生成できるようにする。
• 目標の言語化と文書化を通じて長期的目標設定を実現し、人間の実践（例：計画書やプロジェクト管理ツール）を模倣する。
• 身体的相互作用と言語ベースの認知的支援を組み合わせることで、文化的ナラティブを介して記憶、計画、報酬設計の向上を図る。
• 身体的経験に基づいて文化的モデルを再編集・交渉・拡張できるエージェントを設計し、共有される文化的進化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 人工エージェントがどのように言語と文化を内省することで、即時の感覚的経験を超えた目標空間を拡張できるか？
• RQ2 大規模言語モデルが自己動機づけエージェントの認知的発達を促進するために、文化的モデルとしてどのように機能できるか？
• RQ3 社会的・文化的相互作用は、抽象化、一般化、構成的思考を支援する認知的ツールにどのように変換できるか？
• RQ4 エージェントが文化的なガイドラインと探査的自律性のバランスを保つために必要なメカニズムは何か？（劣悪な目標への過早な収束を回避するため）
• RQ5 言語ベースの支援は、長期的なスケールで目標を追求するエージェントにおける長期的計画と記憶をどのように向上させるか？

主な発見

• 言語と文化的モデルは、過去の経験を超えた抽象的・創造的・エピソード的でない目標を生成できる認知的ツールとして機能する。
• 言語的相互作用を内省することで、人工エージェントに抽象化、一般化、想像力といった高次認知機能の出現が支援される。
• 言語モデルを活用することで、エージェントは文化的に埋め込まれた知識にアクセスし、推論可能となり、探査の効率性と目標の多様性が向上する。
• 言語化と書面での目標設定メカニズム—人間の実践を模倣—は、記憶の持続期間を延長し、長期的計画を支援する。
• 文化的モデルは、より現実的で価値があり、興味深い選択肢に目標選択をバイアスさせ、個別の探査を、文化的にインスパイアされた集団的発見に変換する。
• 身体的経験に基づいて文化的モデルを編集・交渉・拡張できるエージェントは、共有される文化的進化に参加可能であり、人間と機械の間で相互学習を実現できる。