[论文解读] Functions that Emerge through End-to-End Reinforcement Learning - The Direction for Artificial General Intelligence -

Katsunari Shibata|arXiv (Cornell University)|Mar 7, 2017

Reinforcement Learning in Robotics参考文献 13被引用 14

一句话总结

本文展示了使用循环神经网络（RNN）的端到端强化学习（RL）能够直接从原始传感器输入和动作输出中涌现出多样且复杂的认知功能——如图像识别、记忆、注意力、预测和目标导向行为——而无需预设的功能边界或符号结构。其核心贡献在于表明，当学习过程从原始感知延伸至动作时，通过强化学习自然涌现出全面且灵活的类智能行为，暗示该框架是实现通用人工智能（AGI）的核心路径。

ABSTRACT

Recently, triggered by the impressive results in TV-games or game of Go by Google DeepMind, end-to-end reinforcement learning (RL) is collecting attentions. Although little is known, the author's group has propounded this framework for around 20 years and already has shown various functions that emerge in a neural network (NN) through RL. In this paper, they are introduced again at this timing. "Function Modularization" approach is deeply penetrated subconsciously. The inputs and outputs for a learning system can be raw sensor signals and motor commands. "State space" or "action space" generally used in RL show the existence of functional modules. That has limited reinforcement learning to learning only for the action-planning module. In order to extend reinforcement learning to learning of the entire function on a huge degree of freedom of a massively parallel learning system and to explain or develop human-like intelligence, the author has believed that end-to-end RL from sensors to motors using a recurrent NN (RNN) becomes an essential key. Especially in the higher functions, this approach is very effective by being free from the need to decide their inputs and outputs. The functions that emerge, we have confirmed, through RL using a NN cover a broad range from real robot learning with raw camera pixel inputs to acquisition of dynamic functions in a RNN. Those are (1)image recognition, (2)color constancy (optical illusion), (3)sensor motion (active recognition), (4)hand-eye coordination and hand reaching movement, (5)explanation of brain activities, (6)communication, (7)knowledge transfer, (8)memory, (9)selective attention, (10)prediction, (11)exploration. The end-to-end RL enables the emergence of very flexible comprehensive functions that consider many things in parallel although it is difficult to give the boundary of each function clearly.

研究动机与目标

• 证明从原始感官输入到动作输出的端到端强化学习（RL）可在无需预设功能模块的情况下催生复杂且类人的认知功能。
• 论证在AI中常见的功能模块化会引入人为约束和框架问题，限制真正灵活、全面智能的涌现。
• 表明通过时间反向传播（BPTT）与RL信号联合训练的循环神经网络（RNN）可自主发展出记忆、注意力和预测等动态功能。
• 将端到端RL定位为实现人工通用智能（AGI）的关键框架，尤其适用于输入/输出边界模糊的高阶功能。
• 提供实证证据表明，通过RL可自然涌现出广泛的功能，即使在简单任务中亦可观察到如目标追踪、选择性注意力和自适应探索等行为。

提出的方法

• 采用端到端强化学习，使用循环神经网络（RNN）作为策略和价值函数，并通过时间反向传播（BPTT）与稀疏奖励信号进行训练。
• 以原始摄像头像素输入和原始电机指令输出作为输入和输出空间，避免任何预处理或人工特征工程。
• 通过试错学习训练RNN以最大化累积奖励，使记忆和预测等动态功能通过时间反向传播自然涌现。
• 采用演员-评论家架构（Actor-Q）根据RNN内部状态选择动作（如“移动”或“捕获”），实现连续控制与决策。
• 设计具有部分可观测性（如移动目标短暂不可见）的任务，以测试系统在无显式规划或轨迹生成情况下的预测与适应能力。
• 采用反馈权重初始化，使转移矩阵接近单位矩阵，以稳定学习并支持长期信用分配。

实验结果

研究问题

• RQ1 在无预设功能模块或符号表示的情况下，复杂且高层的认知功能是否可通过端到端RL自然涌现？
• RQ2 循环神经网络在仅依赖稀疏奖励信号的情况下，能在多大程度上学会预测、记忆、关注并作用于动态、部分可观测的环境？
• RQ3 与传统模块化方法相比，从原始传感器到执行器的端到端RL在学习复杂行为时，其灵活性与适应性如何？
• RQ4 选择性注意力、记忆和预测等功能是否可在RNN内部动态中自然涌现，即使未为其显式设计专用结构？
• RQ5 在缺乏显式世界模型的情况下，RNN的时间处理能力在促进规划与探索等高阶功能涌现方面起到何种作用？

主要发现

• 该智能体学会了预测一个频繁消失的移动目标的运动轨迹，在视野中心附近等待，以应对方向的意外变化。
• 在目标不可见的捕获任务中，智能体自主发展出一种策略：移动至视野前方，等待，待目标重新出现后立即追踪并捕获，即使运动方向发生意外改变。
• 系统表现出目的性关联记忆，即利用过去状态指导未来动作，而无需显式记忆模块。
• 选择性注意力自然涌现：智能体学会根据上下文聚焦于图像的相关区域，而无需专用注意力机制。
• 智能体在模糊或目标不可见的情境下，通过调整行为基于过往经验，展现出有效且确定性的探索行为。
• 通过模拟解释了奖励预期神经元的出现（该现象在灵长类大脑中已被观察到），表明通过RL训练的RNN可复现神经生物学现象。