[论文解读] Distributionally Robust Statistical Verification with Imprecise Neural Networks

Souradeep Dutta, Michele Caprio+6 more|Research Explorer (The University of Manchester)|Aug 28, 2023

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出了一种基于模糊神经网络（INNs）的分布鲁棒统计验证框架，用于高维自主系统，利用INNs引导主动学习与形式化验证。通过将INNs与Sherlock验证工具结合，该方法在多种输入分布下均提供了可扩展的、分布鲁棒的性能保证，其表现优于在分布内和分布外设置下的分位数预测方法。

ABSTRACT

A particularly challenging problem in AI safety is providing guarantees on the behavior of high-dimensional autonomous systems. Verification approaches centered around reachability analysis fail to scale, and purely statistical approaches are constrained by the distributional assumptions about the sampling process. Instead, we pose a distributionally robust version of the statistical verification problem for black-box systems, where our performance guarantees hold over a large family of distributions. This paper proposes a novel approach based on uncertainty quantification using concepts from imprecise probabilities. A central piece of our approach is an ensemble technique called Imprecise Neural Networks, which provides the uncertainty quantification. Additionally, we solve the allied problem of exploring the input set using active learning. The active learning uses an exhaustive neural-network verification tool Sherlock to collect samples. An evaluation on multiple physical simulators in the openAI gym Mujoco environments with reinforcement-learned controllers demonstrates that our approach can provide useful and scalable guarantees for high-dimensional systems.

研究动机与目标

• 解决依赖于固定假设输入分布的统计验证方法的局限性，这些假设在真实部署中可能不成立。
• 开发一种可扩展的统计验证方法，在高维自主系统中常见的分布偏移下仍能保持性能保证。
• 将模糊神经网络的不确定性量化与形式化验证相结合，以指导主动学习并提高采样效率。
• 为一族分布提供最坏情况性能的理论保证，将有效性扩展至训练数据分布之外。
• 在OpenAI Gym MuJoCo环境中的高维基准测试上，验证该方法的有效性，其控制器基于强化学习。

提出的方法

• 构建一个分布鲁棒的统计验证问题，旨在为性能指标在一族输入分布上提供下界保证，而不仅限于单一固定分布。
• 使用模糊神经网络（INNs）作为代理模型，提供皮质性不确定性估计，以引导主动学习聚焦于输入空间中的高不确定性区域。
• 集成一个主动学习循环，交替使用INNs的不确定性估计查询黑箱系统，并在新样本上重新训练INN。
• 应用神经网络验证工具Sherlock，计算在采样点邻域内的性能边界形式保证，确保在局部扰动下的正确性。
• 构建初始状态的分布族，使得性能保证在高置信度下成立，从而支持部署前验证与在线监控。
• 利用模糊概率框架表示模型不确定性，并推导出即使在分布偏移下仍能保持覆盖率的保守预测区间。

实验结果

研究问题

• RQ1 统计验证方法能否为高维自主系统中的分布偏移提供鲁棒的性能保证？
• RQ2 模糊神经网络的不确定性量化在多大程度上能提升高维输入空间中主动学习的效率与可扩展性？
• RQ3 与标准分位数预测相比，所提出的分布鲁棒保证在分布外测试场景下的表现如何？
• RQ4 将形式化验证（通过Sherlock）与主动学习及模糊神经网络结合，能否产生比现有统计方法更紧致、更可靠的性能边界？
• RQ5 该方法在如MuJoCo环境等多样化高维强化学习基准测试中的可扩展性如何？

主要发现

• 在所有10个MuJoCo环境中，该方法在分布内和分布外测试设置下均实现了99–100%的覆盖率，显著优于分位数预测方法，后者在多个分布外情况下覆盖率低于95%。
• 在分布外评估中，INN方法即使在从整个输入空间均匀采样时，覆盖率仍保持在95%以上，而分位数预测方法在多个环境中违反了覆盖率保证。
• INN的平均预测区间宽度始终大于分位数预测方法，表明其不确定性估计更具保守性但更可靠，尤其在高维设置下。
• 在Humanoid-Standup环境（47维输入）中，INN实现了100%覆盖率，平均区间大小为262，而分位数预测方法仅实现95%覆盖率，且区间大小高达143。
• 该方法在高维系统（最高达47维）中表现出可扩展性，且在Ant、Half-Cheetah和Walker2d等多样化控制任务中保持一致性能。
• 消融研究证实，无论选择何种显著性水平（β = 10⁻², 10⁻⁴），INN均保持更优的覆盖率，进一步证明其对分布偏移的鲁棒性。