[论文解读] A disembodied developmental robotic agent called Samu B\'atfai

Norbert Bátfai|arXiv (Cornell University)|Nov 9, 2015

Modular Robots and Swarm Intelligence被引用 1

一句话总结

本文提出了一位名为 Samu Bátfai 的无实体发展型机器人智能体，该智能体通过使用神经网络近似器的强化学习来学习自然语言对话。通过使用 SPO（主-谓-宾）三元组以及基于多层感知机的简化 Q-learning 架构，Samu 能够预测对话或故事中的下一句，借助基于 LZW 树的动作空间剪枝技术，显著提升了学习效率，展示了在受限的纯文本环境中发展型机器人学的可行原型。

ABSTRACT

The agent program, called Samu, is an experiment to build a disembodied DevRob (Developmental Robotics) chatter bot that can talk in a natural language like humans do. One of the main design feature is that Samu can be interacted with using only a character terminal. This is important not only for practical aspects of Turing test or Loebner prize, but also for the study of basic principles of Developmental Robotics. Our purpose is to create a rapid prototype of Q-learning with neural network approximators for Samu. We sketch out the early stages of the development process of this prototype, where Samu's task is to predict the next sentence of tales or conversations. The basic objective of this paper is to reach the same results using reinforcement learning with general function approximators that can be achieved by using the classical Q lookup table on small input samples. The paper is closed by an experiment that shows a significant improvement in Samu's learning when using LZW tree to narrow the number of possible Q-actions.

研究动机与目标

• 开发一种快速原型化的发育型机器人智能体，通过强化学习学习自然语言对话。
• 探索使用神经网络函数近似器的 Q-learning 如何在小规模语言预测任务中复现表格型 Q-learning 的行为。
• 研究通过 LZW 树实现的动作空间缩减对发育型 NLP 智能体学习效率的影响。
• 为一种类儿童、可与家庭互动的聊天机器人奠定基础，使其通过监督式互动和经验积累逐步发展。

提出的方法

• 该智能体使用基于 Link Grammar 的简化自然语言处理流水线，将输入文本转化为 SPO（主-谓-宾）三元组。
• 采用基于多层感知机（MLPs）近似 Q 函数的 Q-learning 框架，实现序列预测的深度强化学习。
• 系统使用 SARSA 学习算法，结合经验回放和反向传播，基于句子重建准确率生成的奖励信号更新 Q 值预测。
• 应用 LZW 树对动作空间进行压缩和索引，减少候选动作数量，提升学习速度。
• 通过基于字符的控制台显示模拟视觉图像，以二维游戏状态的形式为语言理解提供具身化基础。
• 该智能体在纯文本界面中运行，仅通过字符终端进行通信，强制聚焦于语言内容本身。

实验结果

研究问题

• RQ1 发育型机器人智能体是否能在纯文本环境中，通过使用神经网络函数近似器的深度 Q-learning 学习预测自然语言序列？
• RQ2 通过 LZW 树实现的动作空间剪枝如何影响 Q-learning 智能体的学习效率和收敛速度？
• RQ3 在缺乏视觉或听觉模态的情况下，SPO 三元组表示在多大程度上能支持有意义的语言理解与预测？
• RQ4 基于规则的简化 NLP 流程与强化学习相结合，是否能在发育型机器人智能体中实现类人对话行为？
• RQ5 如何设计一种聊天机器人，使其通过监督式、家庭参与的互动实现认知成长，同时保持最小化且安全的用户界面？

主要发现

• 使用 LZW 树对动作空间进行压缩和索引，显著提升了学习性能，通过减少候选动作数量实现了优化。
• 该原型成功证明了基于多层感知机近似器的深度 Q-learning 可在小规模语言预测任务中达到与经典表格型 Q-learning 相当的结果。
• 该系统在纯文本、基于字符的界面中实现了稳定的学习与预测，验证了其在发展型机器人学实验中的可行性。
• 尽管模型在最坏情况下的内存占用较高（每个感知机最高达 40 MB），但通过 SPO 三元组的非均匀分布（符合帕累托分布模式）得到了有效缓解。
• 该智能体的架构支持从符号处理（三元组）到神经函数近似的过渡，为可扩展的语言学习提供了可能。
• 该原型已在标准硬件上成功实现，表明该方法具有可复现性，且无需高性能计算资源。