[论文解读] Ablation of a Robot's Brain: Neural Networks Under a Knife

Peter Lillian, Richard Meyes+1 more|arXiv (Cornell University)|Dec 13, 2018

Reinforcement Learning in Robotics参考文献 16被引用 11

一句话总结

本文提出一种受生物启发的消融方法，用于探究深度强化学习智能体的内部结构，揭示了人工神经网络的功能特化与鲁棒性，其组织方式与人类大脑相似。通过系统性地移除神经元簇并分析输出变化，作者在机器人的策略网络中识别出六种不同的功能角色，证明了功能定位性与对损伤的抗性。

ABSTRACT

It is still not fully understood exactly how neural networks are able to solve the complex tasks that have recently pushed AI research forward. We present a novel method for determining how information is structured inside a neural network. Using ablation (a neuroscience technique for cutting away parts of a brain to determine their function), we approach several neural network architectures from a biological perspective. Through an analysis of this method's results, we examine important similarities between biological and artificial neural networks to search for the implicit knowledge locked away in the network's weights.

研究动机与目标

• 探究人工神经网络是否表现出与生物大脑类似的功能特化与鲁棒性。
• 开发并应用一种新型消融方法，模拟神经科学研究技术，以分析网络内部组织结构。
• 揭示深度强化学习策略网络中隐含的知识结构方式。
• 通过针对特定损伤的网络行为实证分析，探索生物与人工神经网络之间的相似性。

提出的方法

• 通过从基于DDPG的强化学习智能体的策略网络中选择性地移除空间上相邻的神经元簇来执行消融。
• 通过观察网络在扩展动作空间中动作输出的变化来衡量每次消融的影响。
• 使用主成分分析（PCA）将高维动作空间降维至二维，以实现可视化与聚类。
• 应用K均值聚类结合轮廓系数评分，识别被消融神经元簇之间的不同功能组。
• 通过多次独立训练实验并采用随机初始化，评估不同网络结构下功能角色的一致性与泛化能力。
• 通过分析每次移除特定簇后动作输出的平均方向变化，推断功能角色。

实验结果

研究问题

• RQ1 人工神经网络是否表现出与人类大脑皮层功能定位类似的、类似的功能特化？
• RQ2 人工神经网络是否表现出类似生物大脑的损伤耐受性？
• RQ3 对神经元簇的消融能否揭示训练后策略网络中明确且一致的功能角色？
• RQ4 这些功能角色在多个独立训练的网络中是否保持一致？
• RQ5 深度强化学习智能体权重中，知识是如何隐式组织的？

主要发现

• K均值聚类分析在策略网络中识别出六个明确的功能簇，轮廓系数为0.309，表明聚类间分离度良好。
• 每个消融组均以一致且方向性的方式影响网络输出——例如，蓝色与绿色簇的移除导致动作输出向右偏移。
• 在任一单个功能簇被移除后，网络仍保持功能能力，表现出对损伤的鲁棒性，与生物神经系统的特性相似。
• 功能角色在多次独立训练实验中一致复现，表明即使在随机初始化下，相同的组织结构仍会自发形成。
• 结果支持假设：人工神经网络发展出一种功能定位形式，即特定神经元群在动作生成中承担专门角色。
• 本研究证明，消融方法能有效揭示深度强化学习智能体中隐含的、分布式的知识结构。