[论文解读] Improving Certified Robustness via Statistical Learning with Logical Reasoning

Zhuolin Yang, Zhikuan Zhao+9 more|arXiv (Cornell University)|Feb 28, 2020

Adversarial Robustness in Machine Learning参考文献 49被引用 6

一句话总结

本文提出了一种新颖的框架，通过马尔可夫逻辑网络（MLN）将统计学习与逻辑推理相结合，以提升机器学习中的认证鲁棒性。该文证明了认证MLN鲁棒性的#P难问题，并推导出MLN的首个认证鲁棒性边界，在五个不同的数据集（包括图像和文本）上显著优于当前最先进方法。

ABSTRACT

Intensive algorithmic efforts have been made to enable the rapid improvements of certificated robustness for complex ML models recently. However, current robustness certification methods are only able to certify under a limited perturbation radius. Given that existing pure data-driven statistical approaches have reached a bottleneck, in this paper, we propose to integrate statistical ML models with knowledge (expressed as logical rules) as a reasoning component using Markov logic networks (MLN, so as to further improve the overall certified robustness. This opens new research questions about certifying the robustness of such a paradigm, especially the reasoning component (e.g., MLN). As the first step towards understanding these questions, we first prove that the computational complexity of certifying the robustness of MLN is #P-hard. Guided by this hardness result, we then derive the first certified robustness bound for MLN by carefully analyzing different model regimes. Finally, we conduct extensive experiments on five datasets including both high-dimensional images and natural language texts, and we show that the certified robustness with knowledge-based logical reasoning indeed significantly outperforms that of the state-of-the-arts.

研究动机与目标

• 为解决当前认证鲁棒性方法的局限性，即其在深度神经网络中仅适用于小扰动半径。
• 探索通过逻辑推理（例如通过MLN）整合领域知识是否能够超越纯数据驱动方法，提升认证鲁棒性。
• 正式分析在逻辑推理组件（如MLN）中认证鲁棒性的计算复杂度。
• 在参数扰动下推导出MLN的首个认证鲁棒性边界，从而实现在感知-推理流水线中的端到端认证鲁棒性。

提出的方法

• 提出一种感知-推理流水线，其中统计模型（例如DNN）提供的概率预测作为输入传递给逻辑推理组件（例如MLN）。
• 将推理组件建模为马尔可夫逻辑网络（MLN），该网络结合了逻辑规则与概率图模型。
• 通过将问题约化为已知的#P完全计数问题，证明了认证MLN鲁棒性是#P难的。
• 通过分析模型区域并利用指数族分布中的函数结构，推导出MLN在扰动下的认证鲁棒性边界。
• 开发一种算法，通过在模型参数的扰动上进行优化，计算最终输出概率的鲁棒性区间。
• 针对二叉树结构的贝叶斯网络这一特殊情况，提供闭式解，从而实现高效的鲁棒性认证。

实验结果

研究问题

• RQ1 考虑到其#P难的推理复杂度，MLN等推理组件的认证鲁棒性在计算上是否可行？
• RQ2 在统计学习流水线中整合逻辑规则和领域知识，是否能够相比纯数据驱动模型提升认证鲁棒性？
• RQ3 在参数扰动下，MLN的理论鲁棒性边界是什么？如何实现高效计算？
• RQ4 推理模型的结构形式（例如二叉树）如何影响鲁棒性认证的可计算性？
• RQ5 所提出的框架是否能够在推理组件为概率且基于规则的感知-推理流水线中实现端到端认证鲁棒性？

主要发现

• 本文证明了认证MLN鲁棒性是#P难的，确立了基于推理的认证防御在计算上的根本障碍。
• 通过在结构化模型假设下分析扰动对边际概率的影响，首次推导出MLN的认证鲁棒性边界。
• 对于二叉树结构的贝叶斯网络，本文利用偏导数和约束优化，提供了鲁棒性认证的闭式解。
• 在五个数据集（涵盖图像和自然语言）上的实验表明，所提方法显著优于当前最先进的认证鲁棒性基线。
• 将逻辑推理与统计学习相结合，可显著提升认证鲁棒性，尤其在高维和复杂数据场景下。
• 结果证实，基于知识的推理可增强鲁棒性，其效果超越了纯数据驱动模型所能达到的水平，即使在对抗性扰动下亦然。