[論文レビュー] 3D for Free: Crossmodal Transfer Learning using HD Maps

Benjamin Wilson, Zsolt Kira+1 more|arXiv (Cornell University)|Aug 24, 2020

Advanced Neural Network Applications参考文献 40被引用数 8

ひとこと要約

本論文は、2次元インスタンスセグメンテーションと高精度地図（HDマップ）を活用して、ラベルなしLiDARおよび画像データにおいて3次元オブジェクトバウンディングボックスを自己アノテートするクロスモodalな転移学習手法を提案する。これにより、人間による3次元ラベルの必要性が排除される。本手法は、1,151件のラベルなしドライブログとHDマップ制約を用いて形状事前知識とレーン幾何学を活用して3次元インフレーションをガイドすることで、Argoverseデータセットにおいて最先端の3次元検出性能を達成し、完全に教師ありのモデルを上回る。

ABSTRACT

3D object detection is a core perceptual challenge for robotics and autonomous driving. However, the class-taxonomies in modern autonomous driving datasets are significantly smaller than many influential 2D detection datasets. In this work, we address the long-tail problem by leveraging both the large class-taxonomies of modern 2D datasets and the robustness of state-of-the-art 2D detection methods. We proceed to mine a large, unlabeled dataset of images and LiDAR, and estimate 3D object bounding cuboids, seeded from an off-the-shelf 2D instance segmentation model. Critically, we constrain this ill-posed 2D-to-3D mapping by using high-definition maps and object size priors. The result of the mining process is 3D cuboids with varying confidence. This mining process is itself a 3D object detector, although not especially accurate when evaluated as such. However, we then train a 3D object detection model on these cuboids, consistent with other recent observations in the deep learning literature, we find that the resulting model is fairly robust to the noisy supervision that our mining process provides. We mine a collection of 1151 unlabeled, multimodal driving logs from an autonomous vehicle and use the discovered objects to train a LiDAR-based object detector. We show that detector performance increases as we mine more unlabeled data. With our full, unlabeled dataset, our method performs competitively with fully supervised methods, even exceeding the performance for certain object categories, without any human 3D annotations.

研究の動機と目的

• COCOのような2次元データセットの広いクラスカバレッジを活用して、3次元オブジェクト検出における長尾問題に対処すること。
• 高価な人間による3次元ラベルに依存するのを減らし、ラベルなしマルチモーダルドライブデータから自己教師付き3次元コーナー抽出を可能にすること。
• 2次元インスタンスセグメンテーションとHDマップの事前知識を活用して、希少オブジェクトカテゴリの検出のロバスト性を向上させること。
• ノイズを含む自己生成3次元教師信号が、HDマップと形状事前知識によって制約されれば、高精度な3次元検出器の学習が可能であることを示すこと。

提案手法

• 自動運転車両の同期カメラ画像に対して、COCOの重みを事前学習したCenterMaskモデルを用いて2次元インスタンスセグメンテーションを実行する。
• 幾何的プロジェクションを用いて2次元インスタンスマスクを3次元LiDAR空間にバックプロジェクションし、レーン幾何学に基づくHDマップ制約によって方向の不確実性を解消する。
• オブジェクトの形状事前知識と回転カーラーを適用して、3次元コーナーの寸法を精緻化し、実世界のオブジェクト幾何学と整合性を高める。
• HDマップから得られるレーンセグメントを用いてオブジェクトの向きを推定し、2次元から3次元への変換における不確実性を低減する。
• 重複するまたは冗長なコーナーを統合するために非最大抑制（NMS）を適用し、最終的な3次元オブジェクト候補を生成する。
• 自己アノテートされたコーナーを用いてLiDARベースの3次元検出器（CBGS）を微調整し、データ拡張を適用して一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 2次元インスタンスセグメンテーションモデルに加え、HDマップを組み合わせることで、競争力のある3次元検出器を学習するのに十分な精度の3次元オブジェクト候補を生成できるか？
• RQ2 3次元ラベルが限られる状況下で、2次元検出から3次元検出へのクロスモダリティ転移学習は、完全に教師ありの3次元学習よりも優れた性能を達成できるか？
• RQ3 オブジェクトの形状事前知識とHDマップのレーン幾何学が、2次元から3次元へのインフレーションにおける不確実性を顕著に低減できるか？
• RQ4 ノイズを含む自己アノテート3次元データを用いても、マイニングプロセス自体と比較して3次元検出性能が向上するか？

主な発見

• 本手法は、1,151件のラベルなしドライブログから、2次元インスタンスセグメンテーションとHDマップの事前知識のみを用いて3次元コーナーを自己アノテートした。人間による3次元ラベルは一切不要だった。
• 得られた3次元検出器は、Argoverseデータセットで最先端のmAPを達成し、完全にアノテートされたArgoverseトレーニングセットで学習したモデルを上回った。
• バスや自転車といった希少カテゴリにおいて、自己教師付きモデルが完全に教師ありのベースラインを上回り、長尾クラスにおける一般化性能の向上を示した。
• 平均方向誤差（mAOE）は、回転カーラーを用いた場合の1.21ラジアンから、HDマップでガイドされたインフレーションを用いた場合の0.79ラジアンに低下し、マップ制約の有効性が裏付けられた。
• minedされたラベルなしデータ量の増加に伴い、検出器性能が一貫して向上し、本手法のスケーラビリティが確認された。
• 教師ありベースラインと比較して訓練データを30％削減しても、競争力ある性能を達成した。これは、データ効率性の高さを示している。