[论文解读] Identifying Model Weakness with Adversarial Examiner

Michelle Shu, Chenxi Liu+2 more|arXiv (Cornell University)|Nov 25, 2019

Adversarial Robustness in Machine Learning参考文献 44被引用 4

一句话总结

本文提出对抗性审查员（adversarial examiner），一种动态测试框架，通过基于先前性能自适应选择测试输入，系统性地识别机器学习模型的弱点，其表现优于标准的平均情况评估。该框架使用强化学习或贝叶斯优化来针对故障模式，揭示了3D物体识别模型中的隐藏漏洞，并防止对性能的过度乐观估计。

ABSTRACT

Machine learning models are usually evaluated according to the average case performance on the test set. However, this is not always ideal, because in some sensitive domains (e.g. autonomous driving), it is the worst case performance that matters more. In this paper, we are interested in systematic exploration of the input data space to identify the weakness of the model to be evaluated. We propose to use an adversarial examiner in the testing stage. Different from the existing strategy to always give the same (distribution of) test data, the adversarial examiner will dynamically select the next test data to hand out based on the testing history so far, with the goal being to undermine the model's performance. This sequence of test data not only helps us understand the current model, but also serves as constructive feedback to help improve the model in the next iteration. We conduct experiments on ShapeNet object classification. We show that our adversarial examiner can successfully put more emphasis on the weakness of the model, preventing performance estimates from being overly optimistic.

研究动机与目标

• 为解决标准机器学习评估中的过度乐观问题，该问题依赖于固定的测试集和平均情况性能。
• 开发一种强调最坏情况场景的测试范式，尤其在自动驾驶和医疗等安全敏感领域至关重要。
• 创建一种动态、依赖历史的测试过程，比静态评估更有效地揭示模型弱点。
• 通过识别数据空间中易出错的输入区域，为模型改进提供建设性反馈。
• 在ShapeNet上的3D物体分类任务中验证该框架，证明其能够暴露隐藏漏洞。

提出的方法

• 对抗性审查员基于模型的过往预测结果，动态选择下一个测试输入，旨在最小化模型性能。
• 它使用强化学习（RL）或贝叶斯优化（BO）探索输入空间，并聚焦于模型表现较差的区域。
• 该方法将输入空间建模为12维参数空间（例如光照、物体位置、旋转），并基于模型置信度或损失设计奖励函数。
• 审查员维护测试输入和模型响应的历史记录，持续更新策略以聚焦于高风险区域。
• 该框架可反转使用，通过最大化性能而非最小化性能来识别模型优势。
• 实验采用ResNet34在ShapeNet上进行，对抗性审查员在不同训练数据量下被训练以发现故障模式。

实验结果

研究问题

• RQ1 动态测试框架能否在揭示模型弱点方面优于标准的固定测试集评估？
• RQ2 对抗性审查员在真实输入变化下，能否有效识别3D物体识别模型中的故障模式？
• RQ3 对抗性审查员的性能是否依赖于输入参数采样的顺序？
• RQ4 该框架是否可通过反转目标用于识别模型优势？
• RQ5 对抗性审查员在多大程度上能暴露训练期间人为引入的弱点？

主要发现

• 对抗性审查员成功识别出模型对光照强度增加存在脆弱性，该故障模式在标准评估下未被察觉。
• 仅使用10%的默认训练数据（m=1）时，对抗性审查员揭示了显著更差的性能，证实了数据多样性的关键作用。
• 基于RL和BO的审查员均收敛至相同的故障区域，表明其对采样顺序和方法选择具有鲁棒性。
• 在人工弱点实验中，审查员准确定位了对应于顶部和底部视角的故障区域，证实其检测设计漏洞的能力。
• 当目标反转为最小化损失时，审查员成功识别出最有利于正确分类的观测条件。
• 对抗性审查员的动态方法有效防止了过于乐观的性能估计，尤其相较于随机采样或固定测试集。