[论文解读] A disembodied developmental robotic agent called Samu Bátfai

Norbert Bátfai|arXiv (Cornell University)|Nov 9, 2015

Modular Robots and Swarm Intelligence被引用 3

一句话总结

本文提出了一位名为萨穆·巴尔法伊（Samu Bátfai）的无实体发育型机器人智能体，其通过使用神经网络函数逼近器的深度Q学习方法，利用强化学习从自然语言对话中学习。通过利用SPO（主语-谓语-宾语）三元组预测故事或对话中的下一句，并借助LZW树压缩技术减少动作空间，萨穆实现了显著的学习性能提升，展示了仅通过基于文本的交互实现发育机器人学的可行原型。

ABSTRACT

The agent program, called Samu, is an experiment to build a disembodied DevRob (Developmental Robotics) chatter bot that can talk in a natural language like humans do. One of the main design feature is that Samu can be interacted with using only a character terminal. This is important not only for practical aspects of Turing test or Loebner prize, but also for the study of basic principles of Developmental Robotics. Our purpose is to create a rapid prototype of Q-learning with neural network approximators for Samu. We sketch out the early stages of the development process of this prototype, where Samu's task is to predict the next sentence of tales or conversations. The basic objective of this paper is to reach the same results using reinforcement learning with general function approximators that can be achieved by using the classical Q lookup table on small input samples. The paper is closed by an experiment that shows a significant improvement in Samu's learning when using LZW tree to narrow the number of possible Q-actions.

研究动机与目标

• 开发一种无实体的、基于聊天的发育型机器人智能体，能够通过强化学习学习自然语言理解与生成能力。
• 在受限的纯文本环境中，实现使用神经网络函数逼近器的深度Q学习快速原型，用于语言预测。
• 研究函数逼近与动作空间缩减技术在发育语言学习中提升样本效率的潜力。
• 探索仅使用语言输入（无视觉或听觉模态）训练语言智能体的可行性，以研究发育机器人的核心原理。
• 构建一个可扩展、低资源的系统，通过在自然语言语料上进行强化学习，模拟早期儿童语言习得过程。

提出的方法

• 萨穆采用简化架构，其Q学习智能体基于从输入文本中提取的SPO（主语-谓语-宾语）三元组，预测对话或故事中的下一句。
• 智能体使用多层感知机作为函数逼近器，以估计Q值函数，从而在序列预测中实现深度强化学习。
• 通过LZW树压缩技术减少动作空间，压缩并缩小可能的下一个句子动作数量，提升学习效率。
• 采用基于SARSA的Q学习算法，奖励基于预测句子与实际输入句子的匹配程度，实现在对话或叙事数据上的在线学习。
• 系统使用频率表索引状态-动作对，状态由当前SPO三元组或序列上下文表示，并通过时序差分学习更新Q值。
• 智能体仅通过字符终端运行，无视觉或听觉输入，强制实现纯粹的语言发育学习路径。

实验结果

研究问题

• RQ1 发育型机器人智能体能否仅通过基于文本的交互与强化学习，学习预测自然语言序列？
• RQ2 在无显式监督的情况下，使用神经网络函数逼近器的深度Q学习在语言生成学习中的有效性如何？
• RQ3 通过LZW树压缩实现的动作空间缩减，在语言预测任务中在多大程度上提升了学习速度与准确性？
• RQ4 一个完全基于语言、无实体的智能体能否模拟2至4岁儿童早期阶段的语言发展？
• RQ5 SPO三元组作为语言意义的表征，在强化学习框架中如何支持泛化与学习？

主要发现

• LZW树压缩的使用显著提升了萨穆的学习性能，通过减少可能的Q动作数量，加快了预测任务的收敛速度。
• 萨穆成功实现了使用神经网络逼近器的深度Q学习，用于自然语言序列预测，在小规模数据集上达到与经典Q学习查表法相当的结果。
• 该系统表明，一个完全基于文本的无实体智能体，即使无视觉或听觉输入，也能通过强化学习学习预测句子延续。
• 由于SPO三元组呈现类似帕累托分布的特性，智能体的内存占用在实践中可管理，有效减少了所需感知机的数量。
• 该原型可在标准PC上复现，表明尽管底层函数逼近复杂，但计算需求较低。
• 智能体的行为设计符合发育机器人学原则，包括产前学习阶段与照料者参与的知识验证，模拟了早期儿童语言习得过程。