[論文レビュー] Targeted Adversarial Attacks against Neural Network Trajectory Predictors

Kaiyuan Tan, Jun Wang+1 more|arXiv (Cornell University)|Dec 8, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、DNNに基づく軌道予測モデルが指定されたターゲット軌道を出力するように誘導する自然で見かけの上、物理的に妥当な摂動を入力軌道に生成する、ターゲット型の adversarial 攻撃であるTA4TPを提案する。重み付き損失関数と物理的制約を備えた制約付き非線形最適化問題として攻撃を定式化することにより、ApolloscapeおよびnuScenesデータセット上で、Trajectron++ や Grip++ といった最先端モデルにおいても高い成功率を達成した。

ABSTRACT

Trajectory prediction is an integral component of modern autonomous systems as it allows for envisioning future intentions of nearby moving agents. Due to the lack of other agents' dynamics and control policies, deep neural network (DNN) models are often employed for trajectory forecasting tasks. Although there exists an extensive literature on improving the accuracy of these models, there is a very limited number of works studying their robustness against adversarially crafted input trajectories. To bridge this gap, in this paper, we propose a targeted adversarial attack against DNN models for trajectory forecasting tasks. We call the proposed attack TA4TP for Targeted adversarial Attack for Trajectory Prediction. Our approach generates adversarial input trajectories that are capable of fooling DNN models into predicting user-specified target/desired trajectories. Our attack relies on solving a nonlinear constrained optimization problem where the objective function captures the deviation of the predicted trajectory from a target one while the constraints model physical requirements that the adversarial input should satisfy. The latter ensures that the inputs look natural and they are safe to execute (e.g., they are close to nominal inputs and away from obstacles). We demonstrate the effectiveness of TA4TP on two state-of-the-art DNN models and two datasets. To the best of our knowledge, we propose the first targeted adversarial attack against DNN models used for trajectory forecasting.

研究の動機と目的

• DNNに基づく軌道予測モデルに対する adversarial 入力に対する耐性評価の不足に対処すること。
• ユーザーが定義した望ましい軌道に一致するようにDNN予測を操作するターゲット型攻撃を開発すること。
• 軌道の滑らかさ、レーンキープ、障害物回避といった制約を組み込むことで、adversarial 入力が物理的に現実的かつ安全であることを保証すること。
• adversarial 入力だけでなく、クリーンな状態と adversarial 状態の両方におけるランダムノイズに対するDNNモデルの性能を評価すること。
• 交通密度が軌道予測モデルに対する adversarial 攻撃の成功率に与える影響を調査すること。

提案手法

• 予測軌道とターゲット軌道の間の重み付き ℓ₂ 距離を最小化する制約付き非線形最適化問題として攻撃を定式化する。
• ターゲット軌道の各状態に動的重みを割り当て、特に重要なポイント（例：制限区域内の最終位置）を優先する。
• 通常軌道への近接性、レーンキープ、障害物回避といった物理的制約を課すことにより、現実性と安全性を確保する。
• DNNモデルへの完全なホワイトボックスアクセスを前提に、勾配ベースの最適化手法（例：Adam最適化法）を用いて最適化を解く。
• ターゲットDNNモデル（例：Trajectron++、Grip++）で使用されるグラフベースのアテンション機構を統合することで、相互作用モデリングを維持し、文脈に依存した行動を保つ。
• 多様な交通状況を含む2つのベンチマークデータセット（Apolloscape、nuScenes）を用いて、2つの最先端モデル（Trajectron++、Grip++）に対して攻撃を検証する。

実験結果

リサーチクエスチョン

• RQ1 DNNに基づく軌道予測モデルが、ユーザーが定義した特定の軌道を出力するように誘導するターゲット型 adversarial 摂動を生成できるか？
• RQ2 提案手法は、adversarial 入力の物理的妥当性と安全性（例：レーン内維持、障害物回避）をどの程度維持できるか？
• RQ3 クリーンな入力および adversarial に加工された入力にランダムノイズを適用した場合、DNNモデルの性能はどのように変化するか？これは検出にどのような示唆をもたらすか？
• RQ4 交通密度は、軌道予測モデルに対するターゲット型 adversarial 攻撃の成功率に影響を及えるか？
• RQ5 自然な摂動（例：風、路面の滑りやすさ）に対しても攻撃が耐性を示すか？これは実世界への展開可能性を示唆するか？

主な発見

• TA4TPは、高密度交通状況下でも、Trajectron++ と Grip++ に対してそれぞれ平均偏差 0.215 m および 0.331 m の誤差でターゲット軌道を予測させることが可能であった。
• Apolloscape データセットでは、Grip++ に対して平均偏差 0.203 m、Trajectron++ に対して 0.507 m の偏差を示したが、これは adversarial 入力にランダムノイズを追加した状況下での結果であった。
• nuScenes データセットでは、同じノイズ条件下で、Grip++ に対して 0.253 m、Trajectron++ に対して 0.099 m の偏差を示し、摂動に対して高い耐性があることが示された。
• DNNモデルは、adversarial 入力周辺ではクリーンな入力周辺よりもランダムノイズに対してより高い耐性を示した。これは、検出に有用な信号を示唆している。
• 周囲のエージェントのほとんどがシーンから削除されても攻撃は依然として有効であったため、相互作用モデリングの低下に対しても耐性があることが示された。
• 高密度環境下での低い偏差（例：全エージェントが存在する状況で Trajectron++ が 0.034 m）は、相互作用モデリングが攻撃成功率を向上させる可能性を示唆しているが、モデルによって結果は異なる。