[论文解读] Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness

Simon Geisler, Johanna Sommer+3 more|arXiv (Cornell University)|Oct 21, 2021

Computational Drug Discovery Methods参考文献 10被引用 4

一句话总结

本文提出了一种新颖的对抗鲁棒性框架，用于评估和提升神经组合优化求解器在SAT和TSP等NP难问题上的泛化能力。通过设计高效且可靠的扰动模型，在无需外部求解器的情况下保持标签正确性，作者表明当前最先进神经求解器对小规模实例扰动极为不鲁棒，并证明对抗训练能显著提升鲁棒性与泛化性能。

ABSTRACT

End-to-end (geometric) deep learning has seen first successes in approximating the solution of combinatorial optimization problems. However, generating data in the realm of NP-hard/-complete tasks brings practical and theoretical challenges, resulting in evaluation protocols that are too optimistic. Specifically, most datasets only capture a simpler subproblem and likely suffer from spurious features. We investigate these effects by studying adversarial robustness -a local generalization property- to reveal hard, model-specific instances and spurious features. For this purpose, we derive perturbation models for SAT and TSP. Unlike in other applications, where perturbation models are designed around subjective notions of imperceptibility, our perturbation models are efficient and sound, allowing us to determine the true label of perturbed samples without a solver. Surprisingly, with such perturbations, a sufficiently expressive neural solver does not suffer from the limitations of the accuracy-robustness trade-off common in supervised learning. Although such robust solvers exist, we show empirically that the assessed neural solvers do not generalize well w.r.t. small perturbations of the problem instance.

研究动机与目标

• 为解决由于训练数据生成器不完整或稀疏而导致神经组合优化求解器评估过于乐观的问题。
• 利用对抗鲁棒性作为诊断工具，识别组合优化数据集中虚假特征和模型特异性难例。
• 为SAT和TSP设计高效且可靠的扰动模型，使在不依赖外部求解器的情况下可直接进行精确标签预测。
• 探究对抗鲁棒性是否可作为神经组合优化中可靠的泛化度量。
• 证明对抗训练能同时提升神经求解器在NP难问题上的鲁棒性与泛化能力。

提出的方法

• 设计针对SAT和TSP的高效且可靠的扰动模型——确保扰动后实例的真实标签可直接计算，而无需求解。
• 对于SAT，扰动通过翻转子句中的文字实现，同时保持公式的逻辑结构与可满足性不变。
• 对于TSP，扰动通过修改边权重或节点位置实现，利用已知的几何性质可精确重新评估最优路径。
• 利用这些扰动生成对抗性样本，暴露模型在训练分布外的泛化缺陷。
• 应用对抗训练对神经求解器在对抗性实例上进行微调，提升其鲁棒性与泛化性能。
• 在DecisionTSP与ConvTSP模型上验证该框架，对比原始实例与扰动实例上的预测结果。

实验结果

研究问题

• RQ1 对抗鲁棒性能否作为神经组合优化求解器中泛化的可靠代理？
• RQ2 SAT和TSP中常用的训练数据生成器是否引入了虚假特征，导致模型过拟合于简化的子问题？
• RQ3 我们能否为SAT和TSP设计出既高效又可靠的扰动模型，实现在不依赖外部求解器的情况下精确预测标签？
• RQ4 当前神经求解器在多大程度上对问题实例的小规模、结构化扰动敏感？
• RQ5 对抗训练是否能提升神经组合优化求解器在SAT和TSP上的鲁棒性与泛化能力？

主要发现

• SAT和TSP的神经求解器对小规模、结构化扰动表现出高度脆弱性，表明其泛化能力较差。
• 所提出的扰动模型高效且可靠，可在不依赖外部求解器的情况下，对扰动后的SAT和TSP实例实现精确标签计算。
• 与标准视觉任务不同，在组合优化中准确率与鲁棒性之间并不存在权衡关系；高准确率模型同样可具备高度鲁棒性。
• 对抗训练显著提升了神经求解器在SAT与TSP基准上的鲁棒性，使其在未见过的、扰动后的实例上表现出更好的泛化性能。
• 该框架成功识别出训练数据中的困难、模型特异性实例及虚假特征，揭示了常用数据生成流程中的缺陷。
• 实证结果表明，即使在干净数据上取得高准确率，基于标准数据生成器训练的模型在对抗扰动下仍无法泛化。