[論文レビュー] Certifiable Robustness to Adversarial State Uncertainty in Deep Reinforcement Learning

Michael Everett, Björn Lütjens+1 more|arXiv (Cornell University)|Apr 11, 2020

Adversarial Robustness in Machine Learning参考文献 72被引用数 36

ひとこと要約

本稿では、センサノイズや敵対的攻撃による入力摂動に対して、状態行動価値の保証された下界を計算するためのロバスト最適化を用いる、証明可能に頑健な深層強化学習フレームワークCARRLを提案する。真の状態が不明な場合でも解の品質の証明書を提供できるため、安全が求められる環境における安全な行動選択を可能にし、歩行者回避やAtari Pongにおいて、形式的かつ保証された性能を示す。

ABSTRACT

Deep Neural Network-based systems are now the state-of-the-art in many robotics tasks, but their application in safety-critical domains remains dangerous without formal guarantees on network robustness. Small perturbations to sensor inputs (from noise or adversarial examples) are often enough to change network-based decisions, which was recently shown to cause an autonomous vehicle to swerve into another lane. In light of these dangers, numerous algorithms have been developed as defensive mechanisms from these adversarial inputs, some of which provide formal robustness guarantees or certificates. This work leverages research on certified adversarial robustness to develop an online certifiably robust for deep reinforcement learning algorithms. The proposed defense computes guaranteed lower bounds on state-action values during execution to identify and choose a robust action under a worst-case deviation in input space due to possible adversaries or noise. Moreover, the resulting policy comes with a certificate of solution quality, even though the true state and optimal action are unknown to the certifier due to the perturbations. The approach is demonstrated on a Deep Q-Network policy and is shown to increase robustness to noise and adversaries in pedestrian collision avoidance scenarios and a classic control task. This work extends one of our prior works with new performance guarantees, extensions to other RL algorithms, expanded results aggregated across more scenarios, an extension into scenarios with adversarial behavior, comparisons with a more computationally expensive method, and visualizations that provide intuition about the robustness algorithm.

研究の動機と目的

• センサノイズや敵対的入力摂動下での深層強化学習方策に形式的頑健性保証が欠如している問題に対処する。
• 微小な入力摂動で失敗する標準的なDRLエージェントの限界を克服する（例：自動運転車がレーンを逸脱する原因となる）。
• 再訓練や基本方策の変更を要せず、入力不確実性に対する形式的かつ証明可能な頑健性を提供する手法を開発する。
• 真の状態や最適行動が摂動により不明であっても、解の品質の検証可能な証明書を保証する。
• 教師あり学習から得られる効率的な頑健性検証技術を深層RLに拡張し、制御タスクで一般的な異種入力スケールに対応できるようにする。

提案手法

• 観測された入力の周囲のϵ-ボール内における可能な状態摂動の下で、最悪ケースの価値を最大化する行動を選択するロバスト最適化問題を定式化する。
• 緩和された頑健性検証技術（例：ReLU活性化関数のFast-Lin風線形緩和）を用いて、入力不確実性下でのQ値の保証された下界を効率的に計算する。
• 異なるスケール（例：位置、角度、トルク）を有する入力を扱うために、ベクトル値のϵを導入し、ロボット制御タスクへの応用を可能にする。
• 下界とノーマルQ値を用いて、真の（未知の）状態における最適価値との差を境界化することで、ロバスト行動のサブオプティマルさの証明書を導出する。
• 事前に訓練されたDQNの上流にロバスト意思決定モジュールをポストプロセッシングレイヤーとして統合し、再訓練なしに導入可能にする。
• フレームワークを方策ベースのRLアルゴリズムおよび敵対的エージェントを含む状況に拡張し、画像ベースの攻撃を超えた一般化を示す。

実験結果

リサーチクエスチョン

• RQ1 敵対的またはノイズのある状態観測下で、深層強化学習エージェントに対して形式的かつ証明可能な頑健性保証を提供できるか？
• RQ2 計算効率を維持しつつ、最悪ケースの入力摂動下でのQ値の保証された下界をどのように計算できるか？
• RQ3 教師あり学習から得られる頑健性検証技術を、特に異種入力スケールを有する環境を想定した深層RLに拡張できるか？
• RQ4 本手法は、非証明ベースのベースラインやより計算コストの高い代替手法と比較して、頑健性および解の品質の面でどのように性能を発揮するか？
• RQ5 本フレームワークは、競合エージェントや動的障害物を含む環境での敵対的行動を含む状況に拡張可能か？

主な発見

• CARRLは歩行者回避シナリオにおいて衝突率を顕著に低減し、敵対的状態摂動下でも頑健性が向上することを示した。
• ノイズのある観測下でも、CartPole制御タスクにおける平均エピソードリターンが向上し、性能の安定性が向上した。
• Atari Pongでは、CARRLを強化したDQN方策が、標準DQNと比較してより高い報酬とより高い頑健性を達成した。
• アルゴリズムはサブオプティマルさの検証可能な証明書を提供し、真の状態が不明であっても、ロバスト行動が真の状態における最適行動からどれほど離れているかを定量的に示した。
• 可視化結果から、ϵが増加するにつれて、ReLUの線形近似の劣化に起因して頑健性の下界がより慎重なものになることがわかったが、小さな摂動では依然としてタイトな境界を維持した。
• より計算コストの高い頑健性手法との比較では、CARRLは顕著に低い推論コストで同等の頑健性を達成しており、その効率性が裏付けられた。