[論文レビュー] MultiNet: Multi-Modal Multi-Task Learning for Autonomous Driving

Sauhaarda Chowdhuri, Tushar Pankaj+1 more|arXiv (Cornell University)|Sep 16, 2017

Autonomous Vehicle Technology and Safety参考文献 27被引用数 4

ひとこと要約

本論文では、行動モードを共有畳み込みネットワークの条件付き入力として統合する、マルチモーダル・マルチタスク深層学習フレームワークであるMultiNetを提案する。これにより、直接的走行や不審な走行といった異なるドライブ行動を1つのモデルで学習可能となる。この手法は、個別のマルチタスクネットワークを上回り、直接モードでは8.31%高い自律性を達成するとともに、顕著に低い検証損失を示し、パラメータ数も少ない。

ABSTRACT

Autonomous driving requires operation in different behavioral modes ranging from lane following and intersection crossing to turning and stopping. However, most existing deep learning approaches to autonomous driving do not consider the behavioral mode in the training strategy. This paper describes a technique for learning multiple distinct behavioral modes in a single deep neural network through the use of multi-modal multi-task learning. We study the effectiveness of this approach, denoted MultiNet, using self-driving model cars for driving in unstructured environments such as sidewalks and unpaved roads. Using labeled data from over one hundred hours of driving our fleet of 1/10th scale model cars, we trained different neural networks to predict the steering angle and driving speed of the vehicle in different behavioral modes. We show that in each case, MultiNet networks outperform networks trained on individual modes while using a fraction of the total number of parameters.

研究の動機と目的

• 歩道や未舗装路などの非構造的自律走行のためのデータセットとモデルの不足に対処すること。
• 単一タスク学習や従来のマルチタスク学習の限界を乗り越え、多様な走行行動を効果的に処理すること。
• 複数の行動モード間でパラメータを共有しつつ、モード固有のパフォーマンスを維持する統合型ディープラーニングアーキテクチャの開発。
• 1つのニューラルネットワークを用いて、複雑な現実世界の環境における自律走行のスケーラブルで効率的な解決策の構築。
• 行動モードを条件付き入力として組み込むことで、別々のネットワークを訓練するのと比較して、一般化性能の向上とモデルの複雑さの低減が図られることの実証。

提案手法

• 行動モードを画像特徴と連結することで、ネットワーク出力を条件づける、新しいマルチモーダル・マルチタスク学習フレームワークを導入する。
• ステレオ画像と行動モードを入力として用い、エンドツーエンドのステアリングおよびスピード予測を実現する深層畳み込みニューラルネットワーク、Z2Colorを設計する。
• ステアリングとスピード予測の2つのタスク間でソフトなパラメータ共有を実装しつつ、行動モードを条件として用いることで、パラメータ効率を向上させる。
• モデルカー実験から得られるライブ補正データを用いた、修正済みのDAggerアルゴリズムを実装し、耐性と一般化性能を向上させる。
• 歩道やトレイルを含む非構造的環境で1/10スケールのモデルカーが100時間以上走行した、独自のデータセットを用いてMultiNetモデルを学習する。
• 検証損失のホールドアウトデータセット評価、およびライブ道路走行実験による自律性指標と行動の定性的分析を通じて、パフォーマンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 行動モードを条件として用いることで、1つのディープニューラルネットワークが直接的走行や不審な走行といった、明確に異なる走行行動を効果的に学習できるか。
• RQ2 MultiNetのパフォーマンスは、従来のマルチタスク学習や単一タスクネットワークと比較して、正確性、パラメータ効率、一般化性能の観点でどのように異なるか。
• RQ3 行動モードを条件付き入力として組み込むことで、非構造的走行タスクにおけるモデルパフォーマンスがどの程度向上するか。
• RQ4 検証損失の指標は、特に複雑な行動モードにおいて、実世界の自律性パフォーマンスと相関しているか。
• RQ5 モデルカー実験から得られるライブ補正データは、実世界での展開においてMultiNetアーキテクチャの耐性を向上させることができるか。

主な発見

• MultiNetは直接モードで92.68%の自律性を達成し、MTLベースラインを8.31ポイント上回った。
• 不審な走行モードでは、MultiNetが88.23%の自律性を達成したのに対し、MTLは87.55%であった。検証損失は12.58%低減しており、複雑な行動の学習が優れていることが示された。
• MultiNetとMTLの間の検証損失の差は、直接モードで8.16%、不審な走行モードで12.58%であった。これは、単なる経路追従性を越えたパフォーマンス向上を損失指標が的確に捉えていることを示している。
• MultiNetは、障害物付近での速度調整や境界追随行動といった、より顕著な不審な走行行動を示した。一方、MTLネットワークはそれほど適応的ではなかった。
• MSE損失指標は、直接モードでは実世界パフォーマンスの妥当な代理指標であることが判明したが、不審な走行モードでは自律性指標よりも感受性が高かった。これは、微細な行動学習を捕捉できていることを示している。
• MultiNetは、各モードごとに別々のネットワークを学習するのと比較して、極めて少ないパラメータ数で実現できており、パラメータ効率性とスケーラビリティが確認された。