[论文解读] Adversarial Attacks on Probabilistic Autoregressive Forecasting Models

Raphaël Dang-Nhu, Gagandeep Singh+2 more|arXiv (Cornell University)|Jan 1, 2020

Adversarial Robustness in Machine Learning参考文献 48被引用 5

一句话总结

本文提出了首个针对深度概率自回归预测模型的对抗性攻击方法，该模型输出的是概率分布序列而非点估计。通过利用重参数化与得分函数估计器，对期望的蒙特卡洛近似进行反向传播，作者在股票交易与电力消耗预测任务中，以极小的输入扰动实现了有效的攻击，其中重参数化方法在效率和效果上显著优于得分函数估计器。

ABSTRACT

We develop an effective generation of adversarial attacks on neural models that output a sequence of probability distributions rather than a sequence of single values. This setting includes the recently proposed deep probabilistic autoregressive forecasting models that estimate the probability distribution of a time series given its past and achieve state-of-the-art results in a diverse set of application domains. The key technical challenge we address is effectively differentiating through the Monte-Carlo estimation of statistics of the joint distribution of the output sequence. Additionally, we extend prior work on probabilistic forecasting to the Bayesian setting which allows conditioning on future observations, instead of only on past observations. We demonstrate that our approach can successfully generate attacks with small input perturbations in two challenging tasks where robust decision making is crucial: stock market trading and prediction of electricity consumption.

研究动机与目标

• 解决针对输出概率分布序列而非单一数值的深度概率自回归模型生成对抗性攻击的挑战。
• 在模型输出通过蒙特卡洛估计期望值的设定下，实现基于梯度的白盒攻击。
• 将先前的概率预测工作扩展至贝叶斯设置，以支持对未来的观测进行条件化。
• 评估对抗性攻击在需要鲁棒序列决策的现实领域（如股票市场交易与电力消耗预测）中的有效性。

提出的方法

• 作者将概率自回归预测任务建模为由神经网络参数化的条件分布序列，采用LSTM等架构生成分布参数。
• 将攻击目标表述为最小化一个损失函数，以促使预测分布偏离真实分布，使用对蒙特卡洛样本期望的可微代理函数。
• 采用两种梯度估计技术：得分函数估计器（类似强化学习的梯度）与重参数化估计器（路径梯度），两者均支持通过随机输出进行反向传播。
• 通过将随机样本表示为噪声的确定性函数，将重参数化估计器应用于采样过程，从而实现对采样过程的直接梯度计算。
• 攻击生成过程通过使用这些梯度估计器优化输入扰动，以最大化原始预测与对抗性预测之间的差异。
• 贝叶斯扩展允许对未来的观测进行条件化，从而支持超越标准自回归条件的新型推理与攻击查询。

实验结果

研究问题

• RQ1 能否有效生成针对输出概率分布序列而非点预测的概率自回归模型的对抗性攻击？
• RQ2 如何在可微分地处理蒙特卡洛期望估计时，高效计算梯度以实现白盒攻击生成？
• RQ3 重参数化估计器是否在生成低范数对抗性扰动方面优于得分函数估计器？
• RQ4 对抗性攻击能否成功应用于股票市场交易与电力消耗预测等现实世界的序列预测任务？
• RQ5 将模型扩展至贝叶斯设置后，对抗性攻击的可行性与有效性如何变化？

主要发现

• 重参数化估计器在生成对抗性攻击时显著优于得分函数估计器，表现出更小的扰动范数、更优的优化稳定性和更高质量的梯度。
• 在两个具有挑战性的现实世界预测任务（股票市场交易与电力消耗）中，成功生成了使用极小输入扰动的对抗性攻击。
• 通过定性与定量分析验证了攻击的成功性，表明对抗性预测与原始预测存在显著偏差，同时输入变化极小。
• 模型的贝叶斯扩展支持新型查询类型，如对未来的观测进行条件化，从而扩展了可能的对抗性查询范围。
• 所提方法具有通用性，适用于多种概率自回归架构（包括LSTM、TCN与Transformer），只要其输出为参数化分布即可。
• 作者发布了代码、数据集与复现脚本，确保了完全可复现性，并推动了概率预测领域对抗鲁棒性的进一步研究。