[论文解读] Language and Culture Internalisation for Human-Like Autotelic AI

Cédric Colas, Tristan Karch+2 more|arXiv (Cornell University)|Jun 2, 2022

Language and cultural evolution被引用 1

一句话总结

本文提出了维果茨基式自激励人工智能（Vygotskian Autotelic AI），一种框架，其中人工智能代理将社会文化互动——尤其是语言——内化为认知工具，以实现开放式的、类人的技能发展。通过将大型语言模型作为文化模型整合，代理利用语言进行目标生成、抽象化和长期规划，显著提升了探索多样性与认知灵活性，超越了当前自激励强化学习系统的能力。

ABSTRACT

Building autonomous agents able to grow open-ended repertoires of skills across their lives is a fundamental goal of artificial intelligence (AI). A promising developmental approach recommends the design of intrinsically motivated agents that learn new skills by generating and pursuing their own goals - autotelic agents. But despite recent progress, existing algorithms still show serious limitations in terms of goal diversity, exploration, generalisation or skill composition. This perspective calls for the immersion of autotelic agents into rich socio-cultural worlds, an immensely important attribute of our environment that shapes human cognition but is mostly omitted in modern AI. Inspired by the seminal work of Vygotsky, we propose Vygotskian autotelic agents - agents able to internalise their interactions with others and turn them into cognitive tools. We focus on language and show how its structure and informational content may support the development of new cognitive functions in artificial agents as it does in humans. We justify the approach by uncovering several examples of new artificial cognitive functions emerging from interactions between language and embodiment in recent works at the intersection of deep reinforcement learning and natural language processing. Looking forward, we highlight future opportunities and challenges for Vygotskian Autotelic AI research, including the use of language models as cultural models supporting artificial cognitive development.

研究动机与目标

• 解决当前自激励强化学习代理在目标多样性、抽象化和长期规划方面的局限性。
• 通过将社会文化与语言输入嵌入认知发展，克服现有代理典型的狭窄、具体的目标表征方式。
• 使人工代理能够将社会与文化互动——尤其是语言——内化为认知工具，以支持想象力和泛化等高级功能。
• 弥合内在动机与文化支架之间的差距，以支持人工代理的终身、开放式学习。
• 探索大型语言模型如何作为文化模型，以引导并丰富自主代理的认知发展。

提出的方法

• 提出一种维果茨基式自激励强化学习（Vygotskian RL）框架，使代理能将物理互动与社会文化互动内化为认知工具，如自生成目标、注意力偏差和记忆策略。
• 将语言模型（例如 GPT-3、PaLM）作为文化模型，提供结构化的语言输入，以引导目标发现与认知发展。
• 利用语言在刺激与行为之间建立中介，使代理能够生成超越即时感官输入的抽象、组合性与创造性目标。
• 通过语言实现长期目标设定，即通过口头表达与书面记录目标，借鉴人类的书面计划与项目管理工具实践。
• 结合具身交互与基于语言的认知支架，通过文化叙事提升记忆、规划与奖励塑造能力。
• 设计能够基于具身经验修订、协商并扩展其文化模型的代理，以实现共享的文化演化。

实验结果

研究问题

• RQ1 人工代理如何内化语言与文化，以将其目标空间扩展至超越即时感官经验的范围？
• RQ2 大型语言模型在何种方式下可作为文化模型，以启动自激励代理的认知发展？
• RQ3 社会文化互动如何转化为支持抽象化、泛化与组合性思维的认知工具？
• RQ4 代理需要何种机制，以在文化引导与探索性自主之间取得平衡，从而避免过早收敛至次优目标？
• RQ5 基于语言的支架如何增强代理在长时间尺度上追求目标时的长期规划与记忆能力？

主要发现

• 语言与文化模型可作为认知工具，使代理能够生成超越其过往经验的抽象、创造性和非情景性目标。
• 内化语言互动可支持人工代理中抽象化、泛化与想象力等高级认知功能的出现。
• 利用语言模型可使代理访问并推理文化嵌入的知识，从而提升探索效率与目标多样性。
• 口头表达与书面目标设定机制——受人类实践启发——可延长记忆跨度，并支持代理的长期规划。
• 文化模型可将目标选择偏向更具可行性、价值或趣味性的选项，将个体探索转化为基于群体文化的、受文化启发的发现过程。
• 能够通过具身经验编辑、协商并扩展其文化模型的代理，可能参与共享的文化演化，实现人类与机器之间的互惠式学习。