[论文解读] Controlling Neural Level Sets

Matan Atzmon, Niv Haim+4 more|arXiv (Cornell University)|May 28, 2019

Adversarial Robustness in Machine Learning参考文献 37被引用 44

一句话总结

本论文提出一种可扩展的方法，通过直接对神经网络水平集进行采样并将其纳入损失函数，从而控制决策边界和流形表面，应用于泛化、对抗鲁棒性以及3D表面/曲线重建。

ABSTRACT

The level sets of neural networks represent fundamental properties such as decision boundaries of classifiers and are used to model non-linear manifold data such as curves and surfaces. Thus, methods for controlling the neural level sets could find many applications in machine learning. In this paper we present a simple and scalable approach to directly control level sets of a deep neural network. Our method consists of two parts: (i) sampling of the neural level sets, and (ii) relating the samples' positions to the network parameters. The latter is achieved by a sample network that is constructed by adding a single fixed linear layer to the original network. In turn, the sample network can be used to incorporate the level set samples into a loss function of interest. We have tested our method on three different learning tasks: improving generalization to unseen data, training networks robust to adversarial attacks, and curve and surface reconstruction from point clouds. For surface reconstruction, we produce high fidelity surfaces directly from raw 3D point clouds. When training small to medium networks to be robust to adversarial attacks we obtain robust accuracy comparable to state-of-the-art methods.

研究动机与目标

• 将神经网络水平集的操作动机化并形式化为一种实用工具。
• 开发一个采样网络，使水平集合的采样与网络参数之间存在可微分的联系。
• 演示基于水平集的损失如何提升泛化能力和对抗鲁棒性。
• 展示利用隐式水平集表示的点云表面与曲线重建。
• 通过对由 ReLU 激活的 MLP 模型的神经水平集建立的普适性结果，提供理论基础。

提出的方法

• 为参数为 θ 的神经网络 F 定义神经水平集 S(θ) = {x | F(x; θ) = 0}。
• 使用广义牛顿迭代将点投影到水平集上，从而在 S(θ) 上采样点 p。
• 通过在 F 上添加一个固定线性层来构建采样网络 p(θ)，使 p 对 θ 的依赖具有可微性。
• 构建将采样网络作为 S(θ) 代理的损失函数。
• 提出基于几何间距的损失（几何SVM），以增加输入空间的间距，而非输出空间的间距。
• 开发在输入空间中对抗扰动的鲁棒训练损失，利用到水平集采样点的距离。
• 应用重建损失，促使水平集曲面近似并经过给定点云附近，从而实现表面与曲线重建。
• 证明几何普适性结论：任意完整的分段线性超曲面在 R^d 中都可以被具有 ReLU 激活的 MLP 的神经水平集精确表示。

实验结果

研究问题

• RQ1 神经网络水平集是否可以高效采样并并入可微损失？
• RQ2 通过水平集合样本直接控制边界是否在小样本情形下提升泛化能力？
• RQ3 基于水平集的损失能否提升对对抗扰动的鲁棒性？
• RQ4 神经水平集能否用来从点云重建曲线和曲面，从而获得高保真隐式表示？
• RQ5 是否存在将分段线性流形表示为神经水平集的几何普适性保证？

主要发现

• 采样网络的构造提供了水平集样本与网络参数之间的可微联系，使得对 S(θ) 的直接基于损失的控制成为可能。
• 几何SVM损失在少数据比例下相较于交叉熵和 hinge 损失，在 MNIST、Fashion-MNIST 与 CIFAR-10 的泛化能力上有明显提升。
• 基于水平集边距的鲁棒训练在 MNIST 与 CIFAR-10 上对多种架构实现了对 PGD 攻击的有竞争力的鲁棒性，且在边距相关攻击上存在一定权衡。
• 该方法能够直接从原始三维点云进行表面重建，在 FAUST 数据上获得比对手方法 AtlasNet 更高的 Chamfer 距离（越低越好），并通过相交标量水平集曲面有效重建曲线。
• 几何普适性定理表明，任何在 R^d 中的完备分段线性超曲面都可以被具有 ReLU 激活的 MLP 的神经水平集精确表示。