[论文解读] A Practical Guide to Studying Emergent Communication through Grounded Language Games

Jens Nevens, Paul Van Eecke+1 more|Lirias (KU Leuven)|Apr 20, 2020

Language and cultural evolution参考文献 28被引用 4

一句话总结

本文提出了一套基于 Babel 软件系统的实用工具包，使研究人员能够使用实体机器人开展基于现实的言语游戏实验，通过模块化、可扩展的机器人接口整合感知运动、概念化和语言处理。该框架通过一个基于现实的颜色命名游戏得到验证，展示了具备实时感知与语音能力的机器人通过迭代的、基于任务的交互，如何涌现出真实世界中的通信系统。

ABSTRACT

The question of how an effective and efficient communication system can emerge in a population of agents that need to solve a particular task attracts more and more attention from researchers in many fields, including artificial intelligence, linguistics and statistical physics. A common methodology for studying this question consists of carrying out multi-agent experiments in which a population of agents takes part in a series of scripted and task-oriented communicative interactions, called 'language games'. While each individual language game is typically played by two agents in the population, a large series of games allows the population to converge on a shared communication system. Setting up an experiment in which a rich system for communicating about the real world emerges is a major enterprise, as it requires a variety of software components for running multi-agent experiments, for interacting with sensors and actuators, for conceptualising and interpreting semantic structures, and for mapping between these semantic structures and linguistic utterances. The aim of this paper is twofold. On the one hand, it introduces a high-level robot interface that extends the Babel software system, presenting for the first time a toolkit that provides flexible modules for dealing with each subtask involved in running advanced grounded language game experiments. On the other hand, it provides a practical guide to using the toolkit for implementing such experiments, taking a grounded colour naming game experiment as a didactic example.

研究动机与目标

• 解决在仿真模型与真实机器人交互之间实现完整周期基于现实的言语游戏实验的挑战。
• 提供一个灵活、可扩展的软件工具包，支持在感知运动、概念化和语言层级之间实现符号循环——即意义建构、概念化、生成、理解与解释。
• 使研究人员能够以最少的底层集成工作量，利用实体机器人（特别是人形 Nao 机器人）构建并运行高级、逼真的言语游戏实验。
• 通过一个教学性质的基于现实的颜色命名游戏实现，展示共享通信系统如何通过重复交互自然涌现。

提出的方法

• 作者在 Babel 软件系统基础上扩展了高层机器人接口，抽象化底层机器人控制，实现物理机器人与多智能体言语游戏实验的无缝集成。
• 该接口采用通用函数式架构，针对不同机器人类型（如 Nao）提供专用方法，支持根据机器人平台动态路由命令。
• 使用 Docker 容器化部署的 Python（Flask）服务器托管一个 RESTful API，将 Babel API 调用转换为 NaoQi 框架命令，通过 HTTP POST 请求实现对 Nao 机器人的远程控制。
• 系统支持每个智能体的持久化机器人连接，显著降低重复言语游戏交互过程中的延迟与开销。
• 符号循环在三个层级上实现：通过机器人感知与动作实现的感知运动意义建构，通过内部世界模型实现的概念化与解释，以及通过话语生成与解析实现的语言生成与理解。
• 该框架通过一个基于现实的颜色命名游戏得到验证，智能体通过颜色感知与语音交互，在重复交互中命名并识别彩色物体。

实验结果

研究问题

• RQ1 如何设计一个可扩展、模块化的软件框架，以支持使用实体机器人开展完整周期的基于现实的言语游戏实验？
• RQ2 哪些架构模式能够实现感知运动、概念化与语言处理在多智能体通信实验中的无缝集成？
• RQ3 一个实用且可重用的工具包是否能够降低研究人员在真实机器人环境中研究自然涌现通信的实现门槛？
• RQ4 通过所提出的工具包与实体机器人，基于现实的言语游戏——特别是颜色命名游戏——能否被有效实现与执行？

主要发现

• Babel 机器人接口通过抽象化底层机器人控制并提供跨不同机器人平台的一致 API，成功实现了端到端的基于现实的言语游戏实验。
• 使用容器化部署的 RESTful 服务器与 NaoQi 框架结合，实现了 Babel 系统与实体 Nao 机器人之间可靠、低延迟的通信。
• 持久化机器人连接显著降低了重复言语游戏交互的设置开销，并提升了性能。
• 基于现实的颜色命名游戏成功展示了通过两台 Nao 机器人重复、任务导向的交互，自然涌现出共享的颜色术语词汇。
• 该工具包的模块化设计使其可轻松扩展至其他机器人类型及更多言语游戏场景，如多词话语或语法结构的发展。
• 将真实世界的感知运动数据整合进符号循环，使得涌现通信的建模比纯仿真方法更加稳健与真实。