[论文解读] Divergent representations of ethological visual inputs emerge from supervised, unsupervised, and reinforcement learning

Grace W. Lindsay, Josh Merel+2 more|arXiv (Cornell University)|Dec 3, 2021

Neural dynamics and brain function被引用 4

一句话总结

本研究比较了在第一人称视频数据上通过监督学习、无监督学习和强化学习（RL）训练的相同ResNet架构所学习到的视觉表征。通过表示相似性分析和神经科学启发的度量方法，发现RL训练的网络发展出稀疏、高维的表征，与其他方法明显不同，且与小鼠视觉皮层的表征匹配度最高，表明RL塑造了具有生物学合理性和行为相关性的表征。

ABSTRACT

Artificial neural systems trained using reinforcement, supervised, and unsupervised learning all acquire internal representations of high dimensional input. To what extent these representations depend on the different learning objectives is largely unknown. Here we compare the representations learned by eight different convolutional neural networks, each with identical ResNet architectures and trained on the same family of egocentric images, but embedded within different learning systems. Specifically, the representations are trained to guide action in a compound reinforcement learning task; to predict one or a combination of three task-related targets with supervision; or using one of three different unsupervised objectives. Using representational similarity analysis, we find that the network trained with reinforcement learning differs most from the other networks. Using metrics inspired by the neuroscience literature, we find that the model trained with reinforcement learning has a sparse and high-dimensional representation wherein individual images are represented with very different patterns of neural activity. Further analysis suggests these representations may arise in order to guide long-term behavior and goal-seeking in the RL agent. Finally, we compare the representations learned by the RL agent to neural activity from mouse visual cortex and find it to perform as well or better than other models. Our results provide insights into how the properties of neural representations are influenced by objective functions and can inform transfer learning approaches.

研究动机与目标

• 理解不同的学习目标——监督学习、无监督学习和强化学习——如何影响深度神经网络中学习到的视觉表征的特性。
• 通过使用相同的架构，比较在相同第一人称视觉数据上训练但目标不同的网络的表征结构。
• 评估强化学习训练代理的表征是否比监督学习或无监督学习方法更接近生物神经数据。
• 研究视觉表征在强化学习代理的长期行为规划和目标导向行为中的功能作用。

提出的方法

• 在相同的来自虚拟大鼠环境（Merel et al., 2020）的第一人称视频数据集上训练了八个基于ResNet的模型，仅在训练目标上不同。
• 应用表示相似性分析（RSA）比较不同模型在各层之间的激活模式。
• 使用神经科学启发的度量方法，如表征稀疏性、维度和输入间神经活动模式的多样性。
• 通过将各层表征与小鼠视觉皮层的在体神经活动记录进行比较，评估模型性能。
• 使用三种监督目标（预测与任务相关的目标）、三种无监督目标（包括对比学习）和一种深度强化学习策略，对复合控制任务进行训练和比较。
• 进行分层匹配分析，以评估早期网络层是否最匹配早期视觉皮层区域，而后期层是否最匹配更高级区域。

实验结果

研究问题

• RQ1 当暴露于相同的第一人称视觉输入时，通过监督学习、无监督学习和强化学习训练的深度神经网络的表征特性有何不同？
• RQ2 强化学习代理的表征在多大程度上与小鼠视觉皮层中观察到的表征相匹配？
• RQ3 强化学习训练模型的表征是否表现出稀疏性、高维度或表征多样性，从而使其有别于其他训练范式？
• RQ4 强化学习代理的表征是否能支持长期行为规划，其结构和下游影响是否可作为证据？
• RQ5 强化学习训练网络的中间层是否表现出与小鼠视觉皮层区域分层组织的对应关系？

主要发现

• 通过表示相似性分析测量发现，强化学习（RL）训练的模型在深层表征上与其它模型最不相似，尤其在深层。
• RL模型表现出高稀疏性和高维的神经活动模式，单个图像激活了不同且不重叠的神经元集合。
• RL训练模型的R2层（RLRod）在所有小鼠视觉皮层区域中与神经活动的匹配度最佳，甚至优于表现最好的无监督模型。
• RL模型的视觉编码器并非主要用于即时动作控制，而是支持长期规划，表明其具有超越实时视觉运动控制的功能角色。
• 尽管训练目标不同，无监督对比学习（UnsCPC）仍捕捉到了部分RL表征的特征，如稀疏性和维度，但未能复现全部涌现特性。
• 在RL模型中观察到了表征相似性的分层趋势——即早期网络层匹配早期视觉皮层区域，后期层匹配更高级区域——尽管R2层单独就主导了所有区域的最佳匹配。