[論文レビュー] MultiNet: Real-time Joint Semantic Reasoning for Autonomous Driving

Marvin Teichmann, Michael Weber+3 more|arXiv (Cornell University)|Dec 22, 2016

Advanced Neural Network Applications参考文献 47被引用数 80

ひとこと要約

MultiNetは、共有エンコーダとタスク固有のデコーダを用いて、1つの入力画像から同時にセマンティックセグメンテーション、オブジェクト検出、画像分類を実行する統合的でエンドツーエンドのディープラーニングアーキテクチャを提案する。リアルタイムで処理でき、KITTIベンチマークにおけるレーンセグメンテーションで最先端の性能を達成しており、1フレームあたり45ms未満で全タスクを処理し、23FPS以上のリアルタイム推論を実現する。

ABSTRACT

While most approaches to semantic reasoning have focused on improving performance, in this paper we argue that computational times are very important in order to enable real time applications such as autonomous driving. Towards this goal, we present an approach to joint classification, detection and semantic segmentation using a unified architecture where the encoder is shared amongst the three tasks. Our approach is very simple, can be trained end-to-end and performs extremely well in the challenging KITTI dataset. Our approach is also very efficient, allowing us to perform inference at more then 23 frames per second. Training scripts and trained weights to reproduce our results can be found here: https://github.com/MarvinTeichmann/MultiNet

研究の動機と目的

• 自律走行のための認識システムにおけるリアルタイム性能の向上という重要なニーズに対応する。
• 分類、検出、セマンティックセグメンテーションを同時に実行する統合的ディープラーニングアーキテクチャの開発。
• タスク間で特徴計算を共有することで、精度を損なわず推論速度を向上させる。
• ワンステージ検出器とツーフェーズ検出器の性能格差を縮めつつ、高い速度を維持する。
• KITTIベンチマークにおいて既存手法を上回る性能を発揮するエンドツーエンド学習が可能なマルチタスクネットワークの実現。

提案手法

• 1枚の入力画像から豊富なマルチスケール特徴を抽出するため、共有された深層畳み込みニューラルネットワーク（CNN）エンコーダを用いる。
• 分類、検出、セマンティックセグメンテーションの各タスクに特化したデコーダを採用し、共有された特徴を活用する。
• YOLOの高速回帰とFaster R-CNNおよびMask R-CNNのROI-Alignを組み合わせた検出デコーダを実装し、サイズ可変の特徴を実現する。
• 計算コストを増加させずに、スケール不変性と検出精度を向上させるために、検出ヘッドにリスケーリング層を導入する。
• 1x1畳み込みとスキップ接続を適用することで、特徴の解像度を維持し、セグメンテーションおよび検出ヘッドでの効率的なアップサンプリングを可能にする。
• 分類、検出、セグメンテーションの損失を統合したマルチタスク損失関数を用いて、ネットワーク全体をエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 統合的ディープネットワークアーキテクチャは、自律走行における分類、検出、セマンティックセグメンテーションの各タスクでリアルタイム性能を達成できるか？
• RQ2 複数のタスクに1つのエンコーダを共有することで、個別のネットワークと比較して推論速度と精度にどのような影響を与えるか？
• RQ3 ROI-Alignとリスケーリングを備えたワンステージ検出器は、Faster R-CNNのようなツーフェーズ検出器と同等の性能を達成できるか、その程度は？
• RQ4 共有エンコーダとタスク固有のデコーダといったアーキテクチャ設計の選択が、モデルの効率性と精度に与える影響は？
• RQ5 ジョイントトレーニングにより、単一タスクのベースラインと比較して、レーンセグメンテーションのような下流タスクの汎化性能と性能が向上するか？

主な発見

• MultiNetは、KITTIベンチマークにおけるレーンセグメンテーションで、従来手法を上回る最先端の性能を達成した。
• ROI-Alignとリスケーリングを備えた検出デコーダは、Faster R-CNNと比較して推論時間を約2倍短縮しながら、検出精度を向上させた。
• VGGベースのエンコーダを用いて、3つのタスクを統合的に処理する際の推論時間は42.48ms（23.53FPS）であり、リアルタイム処理が可能であることを示した。
• MultiNetアーキテクチャの分類ヘッドは、カスタムデータセットで98.86%の平均正答率を達成し、アンサンブルされたResNetやVGGベースラインを著しく上回った。
• ResNetベースのエンコーダはVGGよりも精度を向上させたが、推論時間が延長されたため、リアルタイムアプリケーションにおいてはVGGベースのMultiNetがより良い妥協点であった。
• 提案されたリスケーリング層は、計算コストをほとんど増加させずに検出性能を向上させ、ワンステージとツーフェーズ検出器の性能格差を効果的に埋めた。