[論文レビュー] Multi-Task Multi-Sensor Fusion for 3D Object Detection

Ming Liang, Bin Yang+3 more|arXiv (Cornell University)|Dec 22, 2020

Advanced Neural Network Applications参考文献 29被引用数 8

ひとこと要約

本論文は、LiDARとカメラ入力を用いて2D/3D検出、地面推定、深度補完を統合的に最適化するエンドツーエンドでマルチタスク・マルチセンサーフュージョンフレームワークを提案する。ポイントワイズおよびROIワイズの特徴フュージョンを組み合わせたマルチタスク学習により、KITTIおよびTOR4Dベンチマークで最先端の性能を達成し、3D検出で前人を3%以上上回るAPを達成するとともに、10+ FPSでリアルタイム動作を実現する。

ABSTRACT

In this paper we propose to exploit multiple related tasks for accurate multi-sensor 3D object detection. Towards this goal we present an end-to-end learnable architecture that reasons about 2D and 3D object detection as well as ground estimation and depth completion. Our experiments show that all these tasks are complementary and help the network learn better representations by fusing information at various levels. Importantly, our approach leads the KITTI benchmark on 2D, 3D and BEV object detection, while being real time.

研究の動機と目的

• LiDARの長距離における点群の疎らさや単眼画像の深度の曖昧さといった単一センサーモデルの限界を補い、複数センサの相補的情報を活用する。
• 段階的またはスパースなROIベースのフュージョントポロジーの非効率性と不正確さを克服し、モダリティ間で密なエンドツーエンド特徴フュージョンを可能にする。
• 補助タスク（深度補完、地面推定）による幾何的・文脈的事前知識を活用し、マルチタスクの監視により特徴表現学習を向上させる。
• 自律走行システムへの実用的導入を想定し、2D・3D・Bird’s Eye View（BEV）検出タスクの両方で高い精度を維持しつつ、リアルタイム推論（10+ FPS）を実現する。

提案手法

• RGB画像とLiDAR点群を用いて、2D検出、3D検出、地面推定、深度補完を統合的に実行する統一的でエンドツーエンドのディープラーニングアーキテクチャを設計する。
• ポイントワイズフュージョン（LiDAR点の投影による）とROIワイズ特徴フュージョンを組み合わせたハイブリッドフュージョントポロジーを実装し、モダリティ間で密な、多段階のクロスモダリティ特徴統合を可能にする。
• スパースなLiDARスキャンから密度の高い深度マップを予測する補助タスクとして深度補完を採用し、特徴マップ全体にわたるより豊富で密度の高い特徴フュージョンを実現する。
• 予測された地面位置を幾何的監視として活用し、BEVバックボーンが相対的な物体位置をより正確に推定できるように支援することで、3D局所化精度を向上させる。
• 各タスクが特徴学習の向上と相互監視に寄与するように、マルチタスク損失を用いてネットワーク全体をエンドツーエンドで訓練する。
• 画像特徴にはResNet-18バックボーンを、LiDAR特徴にはPointNetベースのヘッドを採用し、最終検出ヘッドの前に複数スケールで特徴マップをフュージョンする。

実験結果

リサーチクエスチョン

• RQ1 2D/3D検出、深度補完、地面推定といった複数の認識タスクを統合的に最適化することで、単一タスクや二タスク設定に比べ、3D物体検出性能が向上するか？
• RQ2 LiDARとカメラデータを統合するマルチセンサーフュージョンは、長距離や遮蔽状態の物体検出において、どのように性能向上に寄与するか？
• RQ3 補助タスクとしての深度補完は、特徴表現の向上と、より密で効果的なクロスモダリティフュージョンをどの程度向上させるか？
• RQ4 統一的でエンドツーエンドのアーキテクチャは、段階的または二段階のフュージョントポロジーに比べ、精度と推論速度の両面で優れているか？
• RQ5 幾何的事前知識（例：地面平面推定）を用いたマルチタスク学習は、長距離や低視認性物体に対して検出のロバスト性と一般化性能をどの程度向上させるか？

主な発見

• KITTIベンチマークにおいて、本手法は2D検出で95.7%、3D検出で85.4%、BEV検出で76.3%のAPを達成し、2番目に高い性能を示す3D検出器を3%以上上回る最先端の性能を発揮した。
• より困難なTOR4Dベンチマークでは、深度補完と密なフュージョンのおかげで、歩行者・自転車のBEV検出APが4.2%向上し、車両の相対誤差も5%以上低減した。
• 本モデルは1秒間に10フレーム以上で実行可能であり、自律走行用途に適したリアルタイム推論能力を示した。
• アブレーションスタディの結果、深度補完は特に歩行者・自転車など代表度が低いクラスにおいて、強化されたマルチタスク監視のおかげで性能向上に寄与していることが確認された。
• 予測された深度マップを用いた密なフュージョンは、特に車両に対して顕著な性能向上をもたらし、特徴マップ全体にわたる広範な特徴フュージョンが有効であることが示された。
• 訓練データの1%しか使用しないにもかかわらず、F-PointNetに比べてハード2D検出設定で7%以上のAP向上を達成した。これは、共同学習とマルチセンサーフュージョンの有効性を示している。