[论文解读] Interpreting Neural Networks through the Polytope Lens

Sid Black, Lee Sharkey+9 more|arXiv (Cornell University)|Nov 22, 2022

Explainable Artificial Intelligence (XAI)被引用 5

一句话总结

本文提出了「多面体透镜」（polytope lens）作为一种神经网络机制可解释性的新框架，主张分段线性激活函数将激活空间划分为离散的多面体——这些几何区域比神经元或方向更基础。作者表明，多面体可识别单义性区域并反映语义边界，为理解非线性表征提供了更稳健的抽象。

ABSTRACT

Mechanistic interpretability aims to explain what a neural network has learned at a nuts-and-bolts level. What are the fundamental primitives of neural network representations? Previous mechanistic descriptions have used individual neurons or their linear combinations to understand the representations a network has learned. But there are clues that neurons and their linear combinations are not the correct fundamental units of description: directions cannot describe how neural networks use nonlinearities to structure their representations. Moreover, many instances of individual neurons and their combinations are polysemantic (i.e. they have multiple unrelated meanings). Polysemanticity makes interpreting the network in terms of neurons or directions challenging since we can no longer assign a specific feature to a neural unit. In order to find a basic unit of description that does not suffer from these problems, we zoom in beyond just directions to study the way that piecewise linear activation functions (such as ReLU) partition the activation space into numerous discrete polytopes. We call this perspective the polytope lens. The polytope lens makes concrete predictions about the behavior of neural networks, which we evaluate through experiments on both convolutional image classifiers and language models. Specifically, we show that polytopes can be used to identify monosemantic regions of activation space (while directions are not in general monosemantic) and that the density of polytope boundaries reflect semantic boundaries. We also outline a vision for what mechanistic interpretability might look like through the polytope lens.

研究动机与目标

• 为解决神经元与方向作为机制可解释性基本单元的局限性，特别是多义性问题以及未能充分考虑非线性特性的问题。
• 提出多面体——由分段线性激活函数定义的区域——作为描述神经网络表征的更严谨、几何化的基础。
• 评估多面体是否能识别出传统神经元或方向失效时的单义性激活区域。
• 探究多面体边界在视觉与语言模型中是否与语义边界对齐。
• 通过聚焦激活空间的非线性结构，为机制可解释性建立更少‘泄漏’的抽象基础。

提出的方法

• 将神经网络建模为最大仿射样条算子（MASOs），从数学上描述基于ReLU的网络如何将激活空间划分为多面体。
• 将多面体定义为由ReLU非线性性产生的超平面所围成的区域，每个区域对应一种特定的线性变换。
• 通过输入之间的激活插值计算多面体密度，并可视化边界如何随语义内容变化。
• 应用缩放与可视化技术处理激活向量，以绘制多面体边界并评估其与语义变化的对齐程度。
• 通过分析激活向量在多样化输入下是否保持在单一多面体内，识别单义性区域。
• 将基于多面体的解释与传统的神经元/方向方法进行比较，以评估其鲁棒性与语义一致性。

实验结果

研究问题

• RQ1 多面体是否能作为神经网络中比单个神经元或线性方向更可靠、更单义性的表征单位？
• RQ2 激活空间中的多面体边界是否对应于不同输入概念之间的有意义语义边界？
• RQ3 多面体边界的密度与输入数据中的语义转换（如图像或文本插值）之间有何关系？
• RQ4 多面体在多大程度上能实现比线性特征方向更准确、更少歧义的机制可解释性？
• RQ5 多面体透镜能否揭示高维表征中叠加与干扰的结构性特征？

主要发现

• 多面体可在单个神经元或方向呈现多义性时识别出激活空间中的单义性区域，表明多面体提供了更连贯的解释单位。
• 多面体边界在图像分类器与语言模型中均反映了语义边界，插值实验显示边界密度在语义转换处增加。
• 多面体透镜揭示了方向并非全局可解释：某一方向在某一区域可能为单义性，但在另一区域可能为多义性，具体取决于激活所在的多面体。
• 该方法成功识别出视觉与语言模型中可解释的单义性特征，示例表明多面体比线性方向更精确地捕捉特征边界。
• 该框架预测，特征方向的分布外或分布内状态取决于激活所处的多面体，为分布外泛化提供了几何判据。
• 多面体透镜通过考虑激活空间的非线性结构，提供了比神经元或方向更稳健的抽象，减少了由叠加与多义性引发的可解释性错觉。