[论文解读] Intrinsically Motivated Learning of Visual Motion Perception and Smooth Pursuit

Chong Zhang, Yu Zhao+2 more|arXiv (Cornell University)|Feb 14, 2014

Visual perception and processing mechanisms参考文献 17被引用 3

一句话总结

该论文提出了一套统一框架，结合稀疏编码与强化学习，使主动眼能够通过内在动机共同发展视觉运动感知与平稳追踪行为。通过在资源约束下优化神经编码保真度，该模型自发生成了类似初级视觉皮层（V1）的方向选择性神经元以及协调的眼动，展示了感知-动作整合的一种生物上合理的机制。

ABSTRACT

We extend the framework of efficient coding, which has been used to model the development of sensory processing in isolation, to model the development of the perception/action cycle. Our extension combines sparse coding and reinforcement learning so that sensory processing and behavior co-develop to optimize a shared intrinsic motivational signal: the fidelity of the neural encoding of the sensory input under resource constraints. Applying this framework to a model system consisting of an active eye behaving in a time varying environment, we find that this generic principle leads to the simultaneous development of both smooth pursuit behavior and model neurons whose properties are similar to those of primary visual cortical neurons selective for different directions of visual motion. We suggest that this general principle may form the basis for a unified and integrated explanation of many perception/action loops.

研究动机与目标

• 在单一学习框架中统一感官感知与运动行为的发展。
• 模拟内在动机（定义为在资源限制下的编码保真度）如何驱动视觉处理与平稳追踪的协同发展。
• 探究通用学习原则是否能在主动视觉系统中产生生物上合理的神经与行为结果。
• 将高效编码理论从被动感官处理扩展至包含主动感知与行为的范畴。

提出的方法

• 该框架将稀疏编码用于高效表示视觉输入的神经表征，同时结合强化学习以引导行为。
• 通过共享的内在奖励信号，在神经资源受限的条件下最大化神经编码的保真度。
• 智能体（一个主动眼）通过策略优化学习在时变环境中追踪运动刺激。
• 神经表征通过稀疏编码更新，以最小化重建误差并保持稀疏性。
• 行为策略通过策略梯度强化学习学习，以最大化内在奖励。
• 系统同时演化出方向选择性的V1样神经元与平稳追踪行为。

实验结果

研究问题

• RQ1 单一的内在动机信号是否能够驱动视觉运动感知与平稳追踪行为的协同发展？
• RQ2 在资源约束下优化神经编码保真度是否会导致生物上合理的神经选择性？
• RQ3 主动智能体能否通过内在学习在无外部奖励的情况下学会追踪运动刺激？
• RQ4 感知与行为的整合如何从统一的学习原则中自然涌现？

主要发现

• 该模型成功发展出类似于初级视觉皮层（V1）中简单细胞的方向选择性神经元。
• 平稳追踪行为作为内在学习目标的自然结果而出现。
• 系统实现了对视觉运动的高保真度神经编码，且表征稀疏而高效。
• 感知与行为的协同发展完全由内在动机驱动，无需外部奖励。