[論文レビュー] Autonomous Braking System via Deep Reinforcement Learning

Hyunmin Chae, Chang Mook Kang+4 more|arXiv (Cornell University)|Feb 8, 2017

Traffic control and management参考文献 8被引用数 24

ひとこと要約

本論文では、衝突回避のためのリアルタイムな最適ブレーキポリシーを学習するためにDeep Q-Networks (DQN)を用いた深層強化学習ベースの自律ブレーキシステムを提案する。ブレーキ意思決定を、安全と効率のバランスを考慮して設計された報酬関数を持つマーカフ決定過程（MDP）として定式化することで、TTC値が1.5秒以上の場合に100%の衝突回避を達成し、衝突なしですべてのEuro NCAP AEB pedestrianテストに合格した。

ABSTRACT

In this paper, we propose a new autonomous braking system based on deep reinforcement learning. The proposed autonomous braking system automatically decides whether to apply the brake at each time step when confronting the risk of collision using the information on the obstacle obtained by the sensors. The problem of designing brake control is formulated as searching for the optimal policy in Markov decision process (MDP) model where the state is given by the relative position of the obstacle and the vehicle's speed, and the action space is defined as whether brake is stepped or not. The policy used for brake control is learned through computer simulations using the deep reinforcement learning method called deep Q-network (DQN). In order to derive desirable braking policy, we propose the reward function which balances the damage imposed to the obstacle in case of accident and the reward achieved when the vehicle runs out of risk as soon as possible. DQN is trained for the scenario where a vehicle is encountered with a pedestrian crossing the urban road. Experiments show that the control agent exhibits desirable control behavior and avoids collision without any mistake in various uncertain environments.

研究の動機と目的

• 都市環境における動的で不確実な歩行者横断状況に適応できる知能的な自律ブレーキシステムの開発を目的とする。
• 多様で予測不能な実世界の交通状況に一般化できないルールベースシステムの限界を克服することを目的とする。
• 衝突ペナルティと迅速なリスク低減のバランスを取る報酬関数を設計し、安全で適切なタイミングのブレーキ意思決定を促進することを目的とする。
• DQNにおけるトラウマメモリ機構を用いて、まれだが深刻な衝突シナリオの学習安定性とサンプル効率を向上させることを目的とする。
• 標準化されたEuro NCAP AEB pedestrianテストを含む多様なテスト条件下でのシステム性能の検証を目的とする。

提案手法

• 相対的な障害物の位置と車両速度を状態とするマーカフ決定過程（MDP）として自律ブレーキ問題を定式化する。
• 行動空間を4つの離散的ブレーキ行動（ブレーキなし、弱、中、強）として定義する。
• Q値関数を近似するため、全結合の順方向ニューラルネットワークアーキテクチャ（15-100-70-50-70-100-4）を用いたDeep Q-Network（DQN）を採用する。
• 事故ペナルティと早期リスク除去のバランスを取るために、パラメータα=0.001、β=0.1、η=0.01、λ=100を有するカスタム報酬関数を設計する。
• 高ペナルティ（衝突）経験を格納・再学習するためのトラウマメモリバッファ（サイズ1,000）を導入し、学習安定性と収束性を向上させる。
• 学習率0.0005、バッチサイズ32、リプレイメモリサイズ10,000を用いたRMSProp最適化手法を用い、経験リプレイを実施する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習エージェントは、不確実な都市環境における歩行者衝突回避のための堅牢で安全なブレーキポリシーを学習できるか？
• RQ2 提案された報酬関数は、自律ブレーキ意思決定における安全性（衝突回避）と効率性（早期リスク除去）のバランスをどの程度効果的に果たしているか？
• RQ3 トラウマメモリ機構は、まれだが重大な衝突シナリオにおける学習収束性と性能向上にどの程度寄与するか？
• RQ4 DRLベースのブレーキシステムは、Euro NCAP AEB pedestrianテストのような標準化された安全基準を満たすことができるか？
• RQ5 車両速度、歩行者の位置、横断タイミングの変動する初期条件下でも、システムの性能はどの程度維持されるか？

主な発見

• トラウマメモリを備えたDQNエージェントは、2,000回の訓練エピソード以内に安定した収束を示し、一貫して高い累積報酬を達成した。一方、トラウマメモリなしのベースラインDQNは収束せず、性能が変動を示した。
• テストシナリオにおいて、TTC値が1.5秒以上の場合、衝突率は0%に達し、現実的な条件下での効果的な衝突回避を示した。
• TTC値が1.5秒未満の場合、0.9秒では衝突率が61.29%に上昇し、高初期車両速度のため、全ブレーキを実行しても衝突は避けがたかった。
• 20–60 km/hの速度範囲で、CVFAおよびCVNAテストを含むすべてのEuro NCAP AEB pedestrianテストに成功し、衝突なしで完全に適合した。
• 平均停止距離は、歩行者前方約5メートルにあり、安全なクリアランス（3m）と整合的であり、報酬パラメータのチューニングで調整可能であった。
• 軌道解析により、エージェントが歩行者が近づくにつれて初期段階で弱いブレーキを適用し、段階的に強いブレーキに段階的変更していることが確認され、知的で適応的な制御行動を示した。