[論文レビュー] Rethinking Self-driving: Multi-task Knowledge for Better Generalization and Accident Explanation Ability

Zhihao Li, T. Motoyoshi+3 more|arXiv (Cornell University)|Sep 28, 2018

Advanced Neural Network Applications参考文献 22被引用数 35

ひとこと要約

本論文は、最初にセグメンテーションと深度予測のタスクで認識モジュールを訓練した後、ドライブポリシーをファインチューニングすることで一般化性能と事故の説明性を向上させる、エンドツーエンドの自動運転システム向けのマルチタスク学習フレームワークを提案する。この手法は、訓練済みの天候条件下での未訓練の町では15%高い成功率を達成し、未訓練の天候条件下では20%高い成功率を示す。これは、認識の重みを凍結することでマルチタスク知識を保持するため、より高いロバスト性を示している。

ABSTRACT

Current end-to-end deep learning driving models have two problems: (1) Poor generalization ability of unobserved driving environment when diversity of training driving dataset is limited (2) Lack of accident explanation ability when driving models don't work as expected. To tackle these two problems, rooted on the believe that knowledge of associated easy task is benificial for addressing difficult task, we proposed a new driving model which is composed of perception module for extit{see and think} and driving module for extit{behave}, and trained it with multi-task perception-related basic knowledge and driving knowledge stepwisely. Specifically segmentation map and depth map (pixel level understanding of images) were considered as extit{what \& where} and extit{how far} knowledge for tackling easier driving-related perception problems before generating final control commands for difficult driving task. The results of experiments demonstrated the effectiveness of multi-task perception knowledge for better generalization and accident explanation ability. With our method the average sucess rate of finishing most difficult navigation tasks in untrained city of CoRL test surpassed current benchmark method for 15 percent in trained weather and 20 percent in untrained weathers. Demonstration video link is: https://www.youtube.com/watch?v=N7ePnnZZwdE

研究の動機と目的

• 訓練データの多様性が限られている状況で、未観測の走行環境でテストされたエンドツーエンドの自動運転モデルにおける一般化性能の低さを是正すること。
• 類似度マップに頼るのではなく、認識モジュールの出力を可視化することによって事故の説明を可能にすること。
• 基本的な認識タスク（何がどこにあるか、どれくらい離れているか）の学習が、複雑な走行タスクの性能向上に寄与するかどうかを検証すること。
• 走行学習中に認識モジュールの重みをファインチューニングすると、一般化性能に悪影響を及ぼすかどうかを評価すること。

提案手法

• モデルは2つのモジュールで構成される：ピクセル単位の理解（セグメンテーションマップと深度マップ）を担う認識モジュール、制御命令を生成するドライブモジュール。
• 認識モジュールは、マルチタスク学習を用いてセグメンテーションと深度予測タスクの事前学習により、「何がどこにあるか」と「どれくらい離れているか」の知識を学習する。
• 事前学習後、認識モジュールの重みは凍結され、エンコードされた認識特徴を用いてドライブモジュールが制御命令の学習を行う。
• 本手法は、転移学習を想起させる段階的訓練戦略に従い、基本的な認識知識が困難なドライブポリシー学習を支援する。
• 認識モジュールの重みを走行学習中に更新するファインチューニング変種も評価され、重みを凍結したベースラインと対比される。
• モデル重みの線形補間による損失関数の可視化を用いて、元のモデルとファインチューニング済みモデル間の最適化ダイナミクスを定性的に分析する。

実験結果

リサーチクエスチョン

• RQ1 セグメンテーションと深度の基本的認識タスクの事前学習は、未観測の走行環境への一般化性能を向上させるか？
• RQ2 セグメンテーションと深度の認識モジュール出力を可視化することで、類似度マップに比べて事故の説明性が向上するか？
• RQ3 走行学習中に認識モジュールの重みをファインチューニングすると、一般化性能が低下するか？
• RQ4 エンドツーエンドモデルの一般化能力は主に認識モジュールの重みによって決定されるか？

主な発見

• 提案手法は、訓練済みの天候条件下での未訓練の町におけるナビゲーションタスクで、ベンチマーク比15%高い成功率を達成した。
• 未訓練の天候条件下では、ベースライン比20%高い成功率を示し、分布シフト下でも強い一般化性能を示した。
• 走行学習中に認識モジュールの重みをファインチューニングした場合、未訓練の町におけるナビゲーションタスクの成功率が78%から42%に著しく低下した。
• 損失関数の可視化により、ファインチューニング済みモデルが損失関数の平坦な領域に閉じ込められていることが判明し、最適でない収束が示唆された。
• 結果から、一般化能力は主に認識モジュールに起因し、エンドツーエンド学習中にその重みを更新すると損なわれる可能性があることが示された。
• 事前学習後に認識モジュールの重みを凍結することで、マルチタスク知識が保持され、より良い一般化性能と説明可能性が実現された。