[論文レビュー] Adversarial Attacks on Probabilistic Autoregressive Forecasting Models

Raphaël Dang-Nhu, Gagandeep Singh+2 more|arXiv (Cornell University)|Jan 1, 2020

Adversarial Robustness in Machine Learning参考文献 48被引用数 5

ひとこと要約

この論文は、点推定ではなく確率分布の系列を出力する深層確率的自己回帰予測モデルに対する、最初の敵対的攻撃手法を提示する。再パrametrizationとスコア関数推定器を用いて期待値のモンテカルロ近似を微分可能にすることで、株式取引および電力消費予測タスクにおいて、最小限の入力摂動で効果的な攻撃を実現した。再パラメータライゼーションはスコア関数推定器よりも著しく効率的かつ効果的であることが示された。

ABSTRACT

We develop an effective generation of adversarial attacks on neural models that output a sequence of probability distributions rather than a sequence of single values. This setting includes the recently proposed deep probabilistic autoregressive forecasting models that estimate the probability distribution of a time series given its past and achieve state-of-the-art results in a diverse set of application domains. The key technical challenge we address is effectively differentiating through the Monte-Carlo estimation of statistics of the joint distribution of the output sequence. Additionally, we extend prior work on probabilistic forecasting to the Bayesian setting which allows conditioning on future observations, instead of only on past observations. We demonstrate that our approach can successfully generate attacks with small input perturbations in two challenging tasks where robust decision making is crucial: stock market trading and prediction of electricity consumption.

研究の動機と目的

• 点推定ではなく確率分布の系列を出力する深層確率的自己回帰モデルに対する敵対的攻撃を生成するという課題に対処すること。
• モデルの出力が期待値のモンテカルロ推定によって定義される設定において、勾配ベースのホワイトボックス攻撃を可能にすること。
• 従来の確率的予測の研究を、将来の観測値に条件づけることができるベイジアン設定に拡張すること。
• 株式市場取引や電力消費予測など、ロバストな逐次意思決定を要する実世界の分野において、敵対的攻撃の有効性を評価すること。

提案手法

• 著者たちは、LSTMなどのアーキテクチャを用いて分布パラメータを生成するニューラルネットワークによってパrameter化された条件付き分布の系列として、確率的自己回帰予測タスクをモデル化する。
• 攻撃の目的関数は、真の予測分布からの逸脱を促進する損失関数として定式化され、モンテカルロサンプルの期待値の微分可能な代替関数が用いられる。
• 勾配推定技術として2つの手法が用いられる：スコア関数推定器（強化学習風の勾配）と再パラメータライゼーション推定器（パスワイズ勾配）、両者とも確率的出力の背後で誤差逆伝播を可能にする。
• 再パラメータライゼーション推定器は、確率的サンプルをノイズの決定的関数として表現することで、サンプリングプロセス全体を経由して直接勾配計算が可能になる。
• 攻撃生成プロセスは、これらの勾配推定器を用いて入力摂動を最適化し、元の予測と敵対的予測の間の乖離を最大化することを目的とする。
• ベイジアン拡張により、将来の観測値に条件づけることが可能になり、標準的な自己回帰的条件づけを超えた新たな推論および攻撃クエリのタイプが可能になった。

実験結果

リサーチクエスチョン

• RQ1 点予測ではなく確率分布の系列を出力する確率的自己回帰モデルに対して、敵対的攻撃を効果的に生成できるか？
• RQ2 ホワイトボックス攻撃生成のために、期待値のモンテカルロ推定を微分可能に処理する勾配をどのように効率的に計算できるか？
• RQ3 再パラメータライゼーション推定器は、確率的予測モデルにおける低ノルムの敵対的摂動を生成するうえで、スコア関数推定器を上回るか？
• RQ4 敵対的攻撃は、株式市場取引や電力消費予測といった実世界の逐次予測タスクに実際に適用可能か？
• RQ5 モデルをベイジアン設定に拡張することで、敵対的攻撃の実現可能性と有効性にどのような影響を与えるか？

主な発見

• 再パラメータライゼーション推定器は、摂動ノルムが小さい攻撃を生成するうえで、スコア関数推定器を著しく上回り、最適化の安定性と勾配の質の両面で優れていることが示された。
• 株式取引と電力消費という2つの挑戦的な実世界の予測タスクにおいて、最小限の入力摂動で敵対的攻撃が成功裏に生成された。
• 攻撃の有効性は定性的および定量的分析を通じて検証され、敵対的予測が元の予測から著しく逸脱している一方で、入力変更は非常に小さく保たれていることが示された。
• モデルのベイジアン拡張により、将来の観測値に条件づけることなどの新たなクエリタイプが可能になり、敵対的クエリの範囲が拡張された。
• 提案手法は、LSTM、TCN、Transformerを含む、パラメトリックな分布を出力する限り、さまざまな確率的自己回帰アーキテクチャに一般化可能である。
• 著者らはコード、データセット、再現スクリプトを公開しており、確率的予測における敵対的ロバスト性に関する完全な再現性とさらなる研究を可能にしている。