[论文解读] Identifying Weights and Architectures of Unknown ReLU Networks

David Rolnick, Konrad P. Körding|arXiv (Cornell University)|Sep 25, 2019

Adversarial Robustness in Machine Learning参考文献 13被引用 5

一句话总结

本文展示了仅通过查询输出即可重构深度ReLU网络的结构、权重和偏置，利用ReLU激活的分段线性特性以及各层决策边界的几何弯曲特性。其主要贡献是一种方法，可将网络组件识别至同构程度，揭示了深层网络的显著部分可仅从输入-输出行为中识别。

ABSTRACT

The output of a neural network depends on its parameters in a highly nonlinear way, and it is widely assumed that a network's parameters cannot be identified from its outputs. Here, we show that in many cases it is possible to reconstruct the architecture, weights, and biases of a deep ReLU network given the ability to query the network. ReLU networks are piecewise linear and the boundaries between pieces correspond to inputs for which one of the ReLUs switches between inactive and active states. Thus, first-layer ReLUs can be identified (up to sign and scaling) based on the orientation of their associated hyperplanes. Later-layer ReLU boundaries bend when they cross earlier-layer boundaries and the extent of bending reveals the weights between them. Our algorithm uses this to identify the units in the network and weights connecting them (up to isomorphism). The fact that considerable parts of deep networks can be identified from their outputs has implications for security, neuroscience, and our understanding of neural networks.

研究动机与目标

• 研究深层ReLU网络的内部结构是否可从其输入-输出行为中恢复。
• 解决长期以来认为由于非线性依赖关系，网络参数无法从输出中识别的假设。
• 开发一种仅通过查询访问网络即可重构网络结构和权重的方法。
• 探讨这种可识别性对安全性、可解释性以及神经科学的启示。

提出的方法

• 利用ReLU网络的分段线性特性，其中每个ReLU单元定义一个将输入空间分割的超平面。
• 通过分析ReLU边界处输入-输出转换形成的超平面方向，识别第一层ReLU单元。
• 利用后续层决策边界在穿过早期层边界时的弯曲特性，推断连接这些层的权重。
• 应用几何与线性代数技术，重构网络结构至同构程度，包括权重和偏置。
• 采用基于查询的采样方法收集输入-输出对，并检测揭示ReLU激活状态的边界转换。
• 结合边界检测与分层推理，迭代识别各层中的单元及其连接。

实验结果

研究问题

• RQ1 能否仅从深层ReLU网络的输入-输出响应中重构其架构和权重？
• RQ2 在无法访问参数或梯度的情况下，ReLU网络的内部结构在多大程度上可被识别？
• RQ3 决策边界的几何特性如何揭示网络深度和权重矩阵的信息？
• RQ4 高层决策边界在低层边界处的弯曲在推断低层权重中起什么作用？
• RQ5 重构过程是否在同构意义下唯一？所识别结构中存在哪些对称性？

主要发现

• 深层ReLU网络的内部架构，包括层间连接与权重，可仅从查询响应中重构。
• 第一层ReLU单元可基于其决策超平面的方向，识别至符号和尺度的同构程度。
• 后续层决策边界在早期层边界处的弯曲，编码了连接这些层权重的信息。
• 该方法可重构网络结构至同构程度，意味着所识别的架构在功能上等价于原始网络。
• 重构过程表明，深层网络结构的显著部分可从行为中识别，挑战了参数不可逆性的假设。
• 研究结果表明，深层网络比以往认为的更具可解释性和可逆向工程性，对模型安全性和可解释性具有重要意义。