[논문 리뷰] Language and Culture Internalisation for Human-Like Autotelic AI

Cédric Colas, Tristan Karch외 2명|arXiv (Cornell University)|2022. 06. 02.

Language and cultural evolution인용 수 1

한 줄 요약

이 논문은 인공 에이전트가 사회문화적 상호작용—특히 언어—를 인지 도구로 내재화함으로써 개방형이고 인간처럼 기술을 발달시킬 수 있는 Vygotskian Autotelic AI 프레임워크를 제안한다. 대규모 언어 모델을 문화 모델로 통합함으로써 에이전트는 목표 설정, 추상화, 장기 계획 수립을 위해 언어를 활용하며, 기존의 자동적 강화학습 시스템을 뛰어넘어 탐색의 다양성과 인지의 유연성을 크게 향상시킨다.

ABSTRACT

Building autonomous agents able to grow open-ended repertoires of skills across their lives is a fundamental goal of artificial intelligence (AI). A promising developmental approach recommends the design of intrinsically motivated agents that learn new skills by generating and pursuing their own goals - autotelic agents. But despite recent progress, existing algorithms still show serious limitations in terms of goal diversity, exploration, generalisation or skill composition. This perspective calls for the immersion of autotelic agents into rich socio-cultural worlds, an immensely important attribute of our environment that shapes human cognition but is mostly omitted in modern AI. Inspired by the seminal work of Vygotsky, we propose Vygotskian autotelic agents - agents able to internalise their interactions with others and turn them into cognitive tools. We focus on language and show how its structure and informational content may support the development of new cognitive functions in artificial agents as it does in humans. We justify the approach by uncovering several examples of new artificial cognitive functions emerging from interactions between language and embodiment in recent works at the intersection of deep reinforcement learning and natural language processing. Looking forward, we highlight future opportunities and challenges for Vygotskian Autotelic AI research, including the use of language models as cultural models supporting artificial cognitive development.

연구 동기 및 목표

• 현재 자동적 강화학습 에이전트의 목표 다양성, 추상화, 장기 계획 수립 능력에 한계가 있음을 해결한다.
• 기존 에이전트가 일반적으로 보이는 좁고 구체적인 목표 표현 방식을 넘어서 사회문화적 및 언어적 입력을 인지 발달에 통합한다.
• 인공 에이전트가 사회적 및 문화적 상호작용—특히 언어—를 인지 도구로 내재화하여 상상력과 일반화와 같은 고차원적 기능을 지원할 수 있도록 한다.
• 내재적 동기와 문화적 지지 체계 사이의 격차를 메우며, 인공 에이전트의 수명 주기 동안 개방형 학습을 지원한다.
• 대규모 언어 모델이 자율 에이전트의 인지 발달을 이끄는 데 어떻게 문화 모델로 기능할 수 있는지 탐색한다.

제안 방법

• 에이전트가 신체적 상호작용과 사회문화적 상호작용을 자가 생성 목표, 주의 집중 편향, 기억 전략과 같은 인지 도구로 내재화하는 Vygotskian Autotelic Reinforcement Learning(Vygotskian RL) 프레임워크를 제안한다.
• 언어 모델(GPT-3, PaLM 등)을 문화 모델로 통합하여 목표 탐색과 인지 발달을 이끄는 구조화된 언어 입력을 제공한다.
• 자극과 행동 사이를 매개하기 위해 언어를 활용함으로써, 즉각적인 감각 입력을 초월한 추상적, 조합적, 창의적인 목표를 생성할 수 있도록 한다.
• 장기 목표 설정을 위해 언어를 활용하여 목표를 언어화하고 문서화함으로써, 인간의 계획 수립 및 프로젝트 관리 도구와 같은 실천 방식을 응용한다.
• 신체적 상호작용과 언어 기반 인지 지지 체계를 융합하여, 문화적 내러티브를 통해 기억, 계획 수립, 보상 형태 조정을 향상시킨다.
• 신체적 경험을 바탕으로 문화 모델을 수정, 협상, 확장할 수 있는 에이전트를 설계함으로써 공동 문화 진화에 기여한다.

실험 결과

연구 질문

• RQ1 어떻게 인공 에이전트가 언어와 문화를 내재화하여 즉각적인 감각 경험을 초월한 목표 공간을 확장할 수 있는가?
• RQ2 대규모 언어 모델이 자동적 에이전트의 인지 발달을 가속화하는 데 어떻게 문화 모델로 기능할 수 있는가?
• RQ3 사회문화적 상호작용은 어떻게 추상화, 일반화, 조합적 사고를 지원하는 인지 도구로 전환될 수 있는가?
• RQ4 에이전트가 문화적 지침과 탐색적 자율성의 균형을 유지하기 위해 필요한 메커니즘은 무엇인가? 특히, 열악한 목표로 조기에 수렴하는 것을 방지하기 위해선 어떻게 해야 하는가?
• RQ5 언어 기반 지지 체계는 장기적인 목표 추구 시스케일에서 메모리와 장기 계획 수립을 어떻게 향상시킬 수 있는가?

주요 결과

• 언어와 문화 모델은 에이전트가 과거 경험을 초월한 추상적, 창의적, 비일시적 목표를 생성할 수 있도록 인지 도구로 기능할 수 있다.
• 언어 상호작용을 내재화함으로써 인공 에이전트에서 추상화, 일반화, 상상력과 같은 고차원적 인지 기능이 나타나는 데 기여한다.
• 언어 모델을 활용하면 에이전트가 문화적으로 내재된 지식에 접근하고 추론할 수 있어 탐색 효율성과 목표 다양성을 향상시킨다.
• 언어화와 기록된 목표 설정 메커니즘—인간의 실천 방식을 영감으로 삼음—은 에이전트의 기억 범위를 연장하고 장기 계획 수립을 지원할 수 있다.
• 문화 모델은 목표 선택을 더 실현 가능하고 가치 있거나 흥미로운 선택으로 향하게 하여, 개인적 탐색을 인구 기반의 문화적으로 영향을 받는 탐색으로 전환시킨다.
• 신체적 경험을 통해 문화 모델를 편집, 협상, 확장할 수 있는 에이전트는 공동 문화 진화에 참여할 수 있으며, 인간과 기계 간 상호 교육을 가능하게 한다.