[論文レビュー] Certified Adversarial Robustness for Deep Reinforcement Learning

Björn Lütjens, Michael Everett+1 more|arXiv (Cornell University)|Oct 28, 2019

Adversarial Robustness in Machine Learning参考文献 49被引用数 46

ひとこと要約

本論文は、境界付き入力摂動下で状態-行動値の保証下限を計算するオンライン認証防御(CARRL)を紹介し、深層強化学習タスクにおいて敵対者とノイズに頑健な行動を選択する。

ABSTRACT

Deep Neural Network-based systems are now the state-of-the-art in many robotics tasks, but their application in safety-critical domains remains dangerous without formal guarantees on network robustness. Small perturbations to sensor inputs (from noise or adversarial examples) are often enough to change network-based decisions, which was already shown to cause an autonomous vehicle to swerve into oncoming traffic. In light of these dangers, numerous algorithms have been developed as defensive mechanisms from these adversarial inputs, some of which provide formal robustness guarantees or certificates. This work leverages research on certified adversarial robustness to develop an online certified defense for deep reinforcement learning algorithms. The proposed defense computes guaranteed lower bounds on state-action values during execution to identify and choose the optimal action under a worst-case deviation in input space due to possible adversaries or noise. The approach is demonstrated on a Deep Q-Network policy and is shown to increase robustness to noise and adversaries in pedestrian collision avoidance scenarios and a classic control task.

研究の動機と目的

• 深層強化学習における安全性クリティカルなロボットタスクのためのロバスト性保証の必要性を動機づける。
• 変動尺度を持つ入力をもつ深層強化学習に対して、ロバスト性証明手法を適用・拡張する。
• 最悪ケースQ値の下限を用いて行動を選択するオンライン防御を提供する。
• 衝突回避とカートポール領域におけるロバスト性の改善を実証する。

提案手法

• 証明された下限Q_L(s_adv, a_j)を、s_advを中心とするεボール内のsに対するQ_l(s, a_j)の最小値として定義する。
• 変動入力尺度を扱うため、εをベクトル値に拡張してロバスト性証明を拡張する。
• ネットワークのA行列とReLU境界パラメータを用いてQ_Lの閉形式計算を導出する。
• Q_Lを用いた行動選択へ統合し、最適行動をa* = argmax_j Q_L(s_adv, a_j)として選ぶ。
• 実行時にオンライン防御ノードを備えたDeep Q-Networks (DQN)へこのアプローチを適用する。
• 実時間実行性を示す（境界計算のフォワードパス約2ms、行動クエリごとの総計約20ms）。

実験結果

リサーチクエスチョン

• RQ1 入力摂動に適応して深層RLで保証を提供するにはどうすればよいか。
• RQ2 ベクトル値の入力摂動（異なるセンサスケール）を証明境界で効果的に扱えるか。
• RQ3 敵対的またはノイズのある観測下でQ値の認定下限を用いると、安全性とパフォーマンスが改善されるか。
• RQ4 衝突回避と古典的制御タスクにおけるパフォーマンスへの影響は？
• RQ5 リアルタイムRLシステムでオンライン実行が実現可能か？

主な発見

• 提案された認定防御(CARRL)は、衝突回避シナリオにおいて敵対的摂動とノイズの下で衝突を低減する。
• Q_Lを最大化することで頑健な行動選択を実現し、摂動下の報酬を改善しつつ、無摂動時には名目パフォーマンスを維持する。
• ベクトル値摂動への証明拡張は、ロボット観測における異なるセンサスケールを扱えるようにする。
• 本手法はカートポールへも一般化可能で、ノイズへの耐性が向上する一方、いくつかの設定でわずかな性能低下を伴う。
• 実行時間の結果は、防御がリアルタイム使用に適していることを示しており（フォワードパス時間と総レイテンシを報告）。