[论文解读] Input Switched Affine Networks: An RNN Architecture Designed for Interpretability

Jakob Foerster, Justin Gilmer+3 more|arXiv (Cornell University)|Nov 28, 2016

Network Security and Intrusion Detection被引用 7

一句话总结

本文提出了输入切换仿射网络（ISAN），一种循环神经网络架构，通过使用输入相关的仿射变换（无非线性）实现完全可解释性。该模型在语言建模任务上实现了具有竞争力的性能，同时支持对输入贡献的精确线性分析、完整逆向工程以及通过预计算仿射组合实现显著的计算效率提升。

ABSTRACT

There exist many problem domains where the interpretability of neural network models is essential for deployment. Here we introduce a recurrent architecture composed of input-switched affine transformations - in other words an RNN without any explicit nonlinearities, but with input-dependent recurrent weights. This simple form allows the RNN to be analyzed via straightforward linear methods: we can exactly characterize the linear contribution of each input to the model predictions; we can use a change-of-basis to disentangle input, output, and computational hidden unit subspaces; we can fully reverse-engineer the architecture's solution to a simple task. Despite this ease of interpretation, the input switched affine network achieves reasonable performance on a text modeling tasks, and allows greater computational efficiency than networks with standard nonlinearities.

研究动机与目标

• 设计一种具有内在可解释性的循环神经网络架构，适用于模型决策必须被理解的关键应用场景。
• 实现对每个输入如何贡献于模型输出的精确线性分析，避免依赖事后解释方法。
• 在消除可能掩盖模型动态的非线性项的同时，保持在语言建模任务上的合理性能。
• 通过输入序列的预计算仿射变换实现计算效率。
• 证明复杂的动态行为（如计数嵌套括号）可在纯线性系统中被完全逆向工程。

提出的方法

• ISAN使用输入切换的仿射变换：在每个时间步，输入从一组学习参数中选择特定的转移矩阵和偏置向量。
• 隐藏状态通过线性、时变的更新方式演化：$\mathbf{h}_t = \mathbf{W}_x \mathbf{h}_{t-1} + \mathbf{b}_x$，其中$\mathbf{W}_x$和$\mathbf{b}_x$基于输入$x$选择。
• 输出通过线性读出计算：$\mathbf{y}_t = \mathbf{W}_{\text{readout}} \mathbf{h}_t + \mathbf{b}_{\text{readout}}$，随后通过softmax进行分类。
• 通过基变换实现输入贡献的精确分解，以解耦输入、输出和隐藏状态子空间。
• 序列上仿射变换的组合本身仍是仿射的，允许对整个输入字符串预计算变换，从而加速推理。
• 该架构支持完整逆向工程解决方案，如在多重括号计数任务中，其动态被解析性重建。

实验结果

研究问题

• RQ1 一个没有显式非线性项的循环网络是否仍能在语言建模任务上实现具有竞争力的性能？
• RQ2 在多大程度上可以使用线性代数精确分解并分析输入对模型输出的贡献？
• RQ3 循环模型的内部动态是否可以被完全逆向工程，特别是对于需要记忆或计数的任务？
• RQ4 与标准RNN相比，输入切换仿射动态在计算效率和内存使用方面表现如何？
• RQ5 对输入序列预计算仿射变换是否能显著提升推理速度？

主要发现

• ISAN在Text8数据集上的性能与LSTM相当，且最大参数数量相同，证明了其在保持线性性的同时仍具备强大的建模能力。
• 该模型能够精确刻画每个输入对最终预测的线性贡献，从而实现对输入影响的完全可解释性。
• 通过基变换，ISAN解耦了输入、输出和隐藏状态子空间，清晰揭示了各组件的结构角色。
• 在多重括号计数任务中，ISAN的解决方案被完全逆向工程，表明网络内部动态可被解析性理解。
• 与非切换架构相比，ISAN在计算上实现$O(K)$的理论加速，在内存使用上实现$O(\sqrt{K})$的优化，其中$K$为输入符号的数量。
• 对常见输入序列预计算仿射变换，可使每个序列的推理成本降低至单个字符更新的成本，从而在重复或长序列上实现巨大加速。