[論文レビュー] Multimodal Safety-Critical Scenarios Generation for Decision-Making Algorithms Evaluation

Wenhao Ding, Baiming Chen+3 more|arXiv (Cornell University)|Sep 16, 2020

Adversarial Robustness in Machine Learning参考文献 52被引用数 8

ひとこと要約

本論文は、自律走行における意思決定アルゴリズムの評価に向け、マルチモーダルで安全に重要な交通シナリオを効率的に生成するフローベースの生成モデルを提案する。重み付き尤度最大化と勾配に基づく適応的サンプリングを用いることで、サンプリング効率が向上し、多様なリスクモードを捉えることができ、6つの強化学習（RL）アルゴリズムの間でアルゴリズムの耐性の違いを明らかにする点で、一様サンプリングを上回る。

ABSTRACT

Existing neural network-based autonomous systems are shown to be vulnerable against adversarial attacks, therefore sophisticated evaluation on their robustness is of great importance. However, evaluating the robustness only under the worst-case scenarios based on known attacks is not comprehensive, not to mention that some of them even rarely occur in the real world. In addition, the distribution of safety-critical data is usually multimodal, while most traditional attacks and evaluation methods focus on a single modality. To solve the above challenges, we propose a flow-based multimodal safety-critical scenario generator for evaluating decisionmaking algorithms. The proposed generative model is optimized with weighted likelihood maximization and a gradient-based sampling procedure is integrated to improve the sampling efficiency. The safety-critical scenarios are generated by querying the task algorithms and the log-likelihood of the generated scenarios is in proportion to the risk level. Experiments on a self-driving task demonstrate our advantages in terms of testing efficiency and multimodal modeling capability. We evaluate six Reinforcement Learning algorithms with our generated traffic scenarios and provide empirical conclusions about their robustness.

研究の動機と目的

• 自律走行システムの耐性を評価するうえで一様サンプリングや単一モードの敵対的アタックの限界を解消すること。
• 特にまれだが高リスクな交通イベントを含む、現実世界の安全に重要なシナリオのマルチモーダルな分布をモデル化すること。
• 勾配に基づく適応的サンプリングにより、多様なリスクモードを効率的に探索するサンプリング効率を向上させること。
• 現実のストレス条件下での強化学習（RL）アルゴリズムの比較に、一様サンプリングよりも情報量の多い評価フレームワークを提供すること。
• シミュレータとタスク固有のフィードバックを用いて、ブラックボックスとしての意思決定アルゴリズムの効率的評価を可能にすること。

提案手法

• 重み付き最大尤度推定（WMLE）を用いて、正規化フローに基づく生成モデルを訓練し、安全に重要なシナリオのマルチモーダルな分布をモデル化する。
• WMLEにおける重みはリスク指標に比例し、高尤度のサンプルが高リスクのシナリオに対応するように保証される。
• 自然進化戦略（NES）の勾配推定に基づく適応的サンプリング手順により、未探索の高リスク領域に焦点を当てるため、サンプリング領域を動的に調整する。
• 意思決定アルゴリズムをブラックボックスとして扱い、シミュレーションによるクエリを通じてリスクフィードバックを取得し、生成器の訓練に用いる。
• タスク固有の特性に基づいて、条件付き入力を生成器に組み込み、シナリオを適応的にカスタマイズする。
• 訓練プロセスは、クロスエントロピー法（CEM）にインspiredされたオンポリシー最適化フレームワークに従い、マルチモーダルカバレッジを効率的に実現する。

実験結果

リサーチクエスチョン

• RQ1 生成モデルは、現実世界の安全に重要な交通シナリオのマルチモーダル性を効果的に捉えることができるか？
• RQ2 高次元のシナリオ空間において、多様でまれなリスクモードを探索する際、サンプリング効率をどのように向上させられるか？
• RQ3 重み付き尤度と適応的サンプリングに基づくシナリオ生成は、一様サンプリングよりも強化学習（RL）アルゴリズムの評価に情報量が多くなるか？
• RQ4 異なるRLアルゴリズムは、生成されたマルチモーダルなリスクシナリオにおいて、一様サンプリングと比較してどのように性能を示すか？
• RQ5 一様サンプリングが検出できない、一様サンプリングでは検出できない意味のある耐性の差を、提案フレームワークは明らかにできるか？

主な発見

• 適応的サンプリングを用いた生成器は、3,000サンプルで全リスクモードを100％カバーしたのに対し、HMCでは10,000サンプル、一様サンプリングでは100,000サンプルを要した。
• 6つのRLアルゴリズムに対する評価では、MBRLがそれらのリスクシナリオに訓練されていなくても強固な性能を維持した。これは、ダイナミクスモデルに基づく計画によるものである。
• DDPG、DQN、SACは生成シナリオで中程度の改善を示し、衝突率は当初上昇した後で減少した。これは、未観測のリスクに部分的に一般化していることを示している。
• PPOとA2Cはオンポリシー手法であるため、生成シナリオでは改善がなく、衝突率は上昇した。これは、多様なリスクモード下での不安定性を示している。
• 一様サンプリングでは、同じ最終報酬と衝突率であっても、アルゴリズム間の耐性の差を区別できなかったのに対し、生成器はアルゴリズムの差を効果的に明らかにした。
• 例示されたように、フレームワークは自転車の出現位置における2つの明確なリスクモードを効果的にモデル化しており、マルチモーダル表現の有効性を示している。