[论文解读] An approach to reachability analysis for feed-forward ReLU neural networks

Alessio Lomuscio, Lalit Maganti|arXiv (Cornell University)|Jun 22, 2017

Adversarial Robustness in Machine Learning参考文献 10被引用 247

一句话总结

该论文通过将网络执行编码成一个对每层只有一个二进制变量的线性规划来形式化可达性分析，支持基于LP的验证和神经控制器中的漏洞检测。

ABSTRACT

We study the reachability problem for systems implemented as feed-forward neural networks whose activation function is implemented via ReLU functions. We draw a correspondence between establishing whether some arbitrary output can ever be outputed by a neural system and linear problems characterising a neural system of interest. We present a methodology to solve cases of practical interest by means of a state-of-the-art linear programs solver. We evaluate the technique presented by discussing the experimental results obtained by analysing reachability properties for a number of benchmarks in the literature.

研究动机与目标

• 在安全关键的 AI 系统中推动对神经网络的形式化验证。
• 开发一个线性规划编码，将前馈神经网络的可达性映射为 LP 可行性。
• 展示如何在 LP 编码中通过 epsilon 放宽来处理浮点误差。
• 将该方法应用于基准控制器（倒立摆、山地车、Acrobot）以及实际网络（Reuters、MNIST）。
• 评估可扩展性并讨论局限性与未来扩展（递归网络、控制器综合）。

提出的方法

• 用线性约束表示 FFNN 的各层，并为每个神经元设一个二进制指示变量以捕捉 ReLU 激活。
• 构建逐层线性编码，得到全局 LP，其可行解对应于可达的输入输出对。
• 引入 epsilon 放宽以考虑浮点不精确，并在目标中使它们的和最小化以提高鲁棒性。
• 通过编码 C = Cin ∪ C ∪ Cout 将从输入集 I 到输出集 O 的可达性转化为 LP 可行性问题。
• 使用 Gurobi 求解得到的混合整数线性规划，将可行性解释为可达性。
• 在标准控制问题和大规模数据集上进行基准测试以评估可扩展性。

实验结果

研究问题

• RQ1 由 ReLU FFNN 编码推导的 LP 能否对线性可定义的输入集到线性可定义的输出集的可达性进行精确表征？
• RQ2 浮点不精确性如何影响基于 LP 的可达性分析的可靠性，epsilon 放宽如何缓解？
• RQ3 对不同规模的网络和问题，该 LP 编码的可达性方法的实际可扩展性如何？
• RQ4 该方法能否在合理的计算时间内在神经控制器（如倒立摆、Acrobot）中发现漏洞或安全违规？

主要发现

• 当且仅当存在输入 I 中的输入和输出 O 中的输出使 f(x)=y 时，LP 编码给出可行解，建立了可达性与 LP 可行性之间的等价性。
• 浮点容差至关重要；将 epsilon 放宽与一个目标函数中最小化它们的和联系起来，可以在数值极限内实现可靠分析。
• 在基准测试中（倒立摆、山地车、摆钟、Acrobot、Reuters、MNIST），在许多情况下可达性查询在不到 1 秒内解决，显示出实际的可扩展性。
• 通过求解 LP，在倒立摆问题的合成神经控制器中发现了一个漏洞；结果可以回馈给网络以确认问题。
• 性能随状态空间大小、变量数量（尤其是二进制变量）和约束数量而变化，较大问题的求解时间更长（例如某些 Acrobot 情况可达数十秒）。
• 此方法可处理多层及相当规模的网络，展现出对实际感兴趣的深度网络的适用性。