[论文解读] Interpretable Neuron Structuring with Graph Spectral Regularization

Alexander Tong, David van Dijk+7 more|arXiv (Cornell University)|Sep 30, 2018

Cell Image Analysis Techniques参考文献 29被引用 5

一句话总结

本文提出图谱正则化（Graph Spectral Regularization, GSR），通过利用图拉普拉斯惩罚，将可解释的图结构组织引入密集神经网络隐藏层。通过促使神经元激活在预定义或数据学习的图上保持平滑，GSR 实现了空间上一致且可解释的特征图——在 MNIST 和单细胞 RNA-seq 数据上均得到验证，其中聚类对应于神经发育阶段等有意义的生物学状态，同时不牺牲模型性能。

ABSTRACT

While neural networks are powerful approximators used to classify or embed data into lower dimensional spaces, they are often regarded as black boxes with uninterpretable features. Here we propose Graph Spectral Regularization for making hidden layers more interpretable without significantly impacting performance on the primary task. Taking inspiration from spatial organization and localization of neuron activations in biological networks, we use a graph Laplacian penalty to structure the activations within a layer. This penalty encourages activations to be smooth either on a predetermined graph or on a feature-space graph learned from the data via co-activations of a hidden layer of the neural network. We show numerous uses for this additional structure including cluster indication and visualization in biological and image data sets.

研究动机与目标

• 为解决密集神经网络中隐藏层特征无结构且难以解释的可解释性挑战。
• 实现神经元激活的空间一致性与定位性，受生物神经网络层级组织的启发。
• 开发一种方法，对隐藏层神经元学习或施加图结构，以揭示有意义的数据组织。
• 证明图结构表示能够捕捉生物学相关的模式，例如单细胞 RNA-seq 数据中的发育轨迹。
• 通过轻量级正则化技术，在保持高性能的同时增强可解释性。

提出的方法

• 对隐藏层激活施加图拉普拉斯惩罚，以约束其在图结构上保持平滑，促进神经元之间的空间一致性。
• 采用数据驱动方法，从隐藏层中的特征共激活模式中学习图结构，基于激活响应的相似性构建图。
• 在主成分分析（PCA）降维后的特征空间上，使用自适应带宽高斯核构建图，以捕捉局部与全局结构。
• 在训练过程中迭代优化图结构，基于当前层激活更新图拉普拉斯矩阵，强化自然的数据驱动模式。
• 将图正则化整合到损失函数中作为谱正则化项，平衡可解释性与性能。
• 将该方法应用于已知图结构（如网格）和学习得到的图，实现感受野可视化与聚类级解释。

实验结果

研究问题

• RQ1 在不降低性能的前提下，对隐藏层神经元施加图结构是否能提升密集神经网络的可解释性？
• RQ2 数据学习的图结构是否能在高维特征空间（如单细胞 RNA-seq）中揭示有意义的生物学或数据驱动组织？
• RQ3 与标准的 L1/L2 正则化相比，图结构正则化在模型准确率和计算成本方面表现如何？
• RQ4 图结构特征是否能揭示单细胞数据中的发育轨迹，例如从神经干细胞到成熟神经元的转变？
• RQ5 通过空间组织神经元，该方法是否能在全连接层中实现类似卷积的操作与局部感受野？

主要发现

• 图谱正则化（GSR）成功在密集网络中生成空间上一致且可解释的特征图，激活形成聚类，对应于有意义的数据结构。
• 在 MNIST 上，GSR 在正则化系数为 10⁻³ 时达到 98.0% 的测试准确率，与 L2 和 L1 正则化相当，性能损失可忽略。
• 在单细胞 RNA-seq 数据中，GSR 学习到一个包含六个连通分量的图，与已知生物学状态一致：早期神经干细胞（聚类 2）和成熟神经元（聚类 6），并清晰显示出从中间祖细胞到成熟神经元的轨迹。
• 该方法揭示了最大聚类内基因表达的发育进展——例如 Eomes 到 Tbr1 和 Sox5 的转变——这些在标准自编码器中不可见。
• GSR 平均每个训练步骤仅增加约 33ms（266ms 对比无正则化时的 233ms），计算成本与标准 L2 正则化相当。
• 学习到的图结构使我们能够识别对应于特定细胞类型和发育阶段的感受野，证明其在可视化与解释中的实用性。