[論文レビュー] Brain Inspired Cognitive Model with Attention for Self-Driving Cars

Shitao Chen, Songyi Zhang+3 more|arXiv (Cornell University)|Feb 18, 2017

EEG and Brain-Computer Interfaces参考文献 26被引用数 11

ひとこと要約

本稿では、自己走行車向けに注意メカニズムを統合した脳にインspiredされた認知モデル（CMA）を提案する。このモデルは、視覚的認識のためのCNN、状況理解のための認知マップ、時間的依存性と注意をモデル化するLSTMベースの再帰的ネットワークを統合しており、エンドツーエンドで認識、経路計画、制御を学習可能であり、リアルタイムのナビゲーション入力と障害物対処を伴い、シミュレーションで人間並みのドライブパフォーマンスを達成する。

ABSTRACT

Perception-driven approach and end-to-end system are two major vision-based frameworks for self-driving cars. However, it is difficult to introduce attention and historical information of autonomous driving process, which are the essential factors for achieving human-like driving into these two methods. In this paper, we propose a novel model for self-driving cars named brain-inspired cognitive model with attention (CMA). This model consists of three parts: a convolutional neural network for simulating human visual cortex, a cognitive map built to describe relationships between objects in complex traffic scene and a recurrent neural network that combines with the real-time updated cognitive map to implement attention mechanism and long-short term memory. The benefit of our model is that can accurately solve three tasks simultaneously:1) detection of the free space and boundaries of the current and adjacent lanes. 2)estimation of obstacle distance and vehicle attitude, and 3) learning of driving behavior and decision making from human driver. More significantly, the proposed model could accept external navigating instructions during an end-to-end driving process. For evaluation, we build a large-scale road-vehicle dataset which contains more than forty thousand labeled road images captured by three cameras on our self-driving car. Moreover, human driving activities and vehicle states are recorded in the meanwhile.

研究の動機と目的

• ドライビングの認識主導型およびエンドツーエンド学習フレームワークの限界を、注意メカニズムと歴史的文脈の統合によって克服すること。
• 人間の脳メカニズムにインspiredされた視覚的認識、状況理解、意思決定を統合する統一モデルの開発。
• エンドツーエンドドライブ中に外部のナビゲーション指示を受け入れ、リアルタイムでの適応を可能にする。
• 認知的ドライブモデルの学習と評価に用いる大規模かつマルチモーダルなデータセット（Road-Vehicle Dataset）の構築。
• 複雑な交通状況において、空き領域検出、障害物までの距離推定、ドライブ行動学習を同時に実行できるかの検証。

提案手法

• 畳み込みニューラルネットワーク（CNN）を用いて、人間の視覚皮質を模倣し、複数のカメラからの道路画像を処理して視覚的特徴を抽出する。
• 車両、レーン境界、障害物、ナビゲーション入力の間の関係を表現する認知マップを構築し、認識情報と状態情報を統合する。
• 複数層のLSTMを用いた再帰的ニューラルネットワークが時間的依存性をモデル化し、意思決定のための歴史的状態およびシーンデータへの注目を可能にする。
• LSTMネットワークは、入力サイズ [20×C^t] を処理し、隠れ状態サイズが [20×16]、[20×64]、[20×64] の順に処理された後、ステアリング角を出力する。
• 40,000枚以上のラベル付き道路画像と同期した人間の運転行動および車両状態を含むカスタムデータセットを用いて、モデルを学習および評価する。
• シミュレーション環境を用いて、レーン変更や障害物回避を含む多様なドライブシナリオを生成し、計画および制御パフォーマンスをテストする。

実験結果

リサーチクエスチョン

• RQ1 統一された認知モデルに注意機構を統合することで、自己走行車における認識・計画・制御の統合が有効に実現できるか？
• RQ2 脳にインスパイアされた再帰的記憶機構を備えたモデルは、動的ドライブシナリオにおける時間的依存性をどの程度適切に処理できるか？
• RQ3 エンドツーエンドドライブ中に外部のナビゲーション指示を受け入れられ、ハイブリッド・オーグメントドインテリジェンスを実現できるか？
• RQ4 人間の模倣行動からドライブ行動を学習しながら、リアルタイム性能を維持できるかの限界はどこか？
• RQ5 認知マップは、複雑な交通環境における状況理解と意思決定をどの程度向上できるか？

主な発見

• CMAモデルは、同時に3つのコアタスクを実行可能である：空き領域およびレーン境界検出、障害物までの距離および車両アングル推定、ドライブ行動学習。
• 特に障害物を伴うレーン変更の際でも、シミュレーション上で滑らかで安定した、人間と似たドライブ軌道を達成した。
• Chenら[14]の先行手法と比較して、LSTMによる時間的依存性のモデル化のおかげで、CMAモデルは優れたパフォーマンスを示した。
• 3.5mおよび4mの異なるレーン幅、50mから200mまでの異なる障害物距離においても、一貫したパフォーマンスを維持しており、耐障害性が確認された。
• 認知マップの使用により、ナビゲーション入力、車両状態、認識結果の有効な統合が可能となり、文脈に即した意思決定が実現した。
• エンドツーエンドドライブプロセス中に外部のナビゲーション指示を受信し、応答可能であり、ハイブリッド・オーグメントドインテリジェンスを支援した。