[論文レビュー] ApolloCar3D: A Large 3D Car Instance Understanding Benchmark for Autonomous Driving

Xibin Song, Peng Wang+7 more|arXiv (Cornell University)|Nov 29, 2018

3D Shape Modeling and Analysis参考文献 58被引用数 13

ひとこと要約

ApolloCar3D は、自動運転研究を対象として、業界水準の 3D CAD モデルと 66 個のセマンティックキーポイントを備えた 60,000 以上の車両インスタンスを含む、公開可能な最大規模の 3D 車両インスタンス理解ベンチマークを提供する。このデータセットは、2D-3D キーポイント対応関係とインスタンス間の関係を活用する文脈に配慮したアノテーションパイプラインと、ベースラインモデルを用いて、最先端の 3D ポーズおよび形状推定を可能にし、キーポイントの使用によって顕著な性能向上を達成しているが、モデル性能と人間の性能の間には約 10% のギャップが依然として存在する。

ABSTRACT

Autonomous driving has attracted remarkable attention from both industry and academia. An important task is to estimate 3D properties(e.g.translation, rotation and shape) of a moving or parked vehicle on the road. This task, while critical, is still under-researched in the computer vision community - partially owing to the lack of large scale and fully-annotated 3D car database suitable for autonomous driving research. In this paper, we contribute the first large-scale database suitable for 3D car instance understanding - ApolloCar3D. The dataset contains 5,277 driving images and over 60K car instances, where each car is fitted with an industry-grade 3D CAD model with absolute model size and semantically labelled keypoints. This dataset is above 20 times larger than PASCAL3D+ and KITTI, the current state-of-the-art. To enable efficient labelling in 3D, we build a pipeline by considering 2D-3D keypoint correspondences for a single instance and 3D relationship among multiple instances. Equipped with such dataset, we build various baseline algorithms with the state-of-the-art deep convolutional neural networks. Specifically, we first segment each car with a pre-trained Mask R-CNN, and then regress towards its 3D pose and shape based on a deformable 3D car model with or without using semantic keypoints. We show that using keypoints significantly improves fitting performance. Finally, we develop a new 3D metric jointly considering 3D pose and 3D shape, allowing for comprehensive evaluation and ablation study. By comparing with human performance we suggest several future directions for further improvements.

研究の動機と目的

• 自動運転研究に適した大規模かつ完全にアノテートされた 3D 車両データセットの不足を解消すること。
• ポーズ、形状、セマンティックキーポイントの局所化を含む、車両のインスタンスレベルの正確な 3D 理解を可能にすること。
• 2D-3D キーポイント対応関係と複数台の車両間の 3D 関係を活用する文脈に配慮した 3D アノテーションパイプラインを構築し、効率的なラベル付けを実現すること。
• ポーズと形状を統合的に評価する包括的な指標を用いた、3D 車両インスタンス理解のベンチマークを確立すること。
• 現在のディーブラーニングモデルと人間のアノテーションの間の性能ギャップを特定し、今後の研究を導くこと。

提案手法

• データセットは ApolloScape データセットから構築され、ステレオ画像、カメラポーズ、セマンティックインスタンスマスク、ピxls単位の深度、および動画が含まれる。
• 各車両インスタンスには、絶対的なサイズを含む高精度で業界水準の 3D CAD モデルが適合され、66 個の意味的にラベル付けされたキーポイントが付与されている。
• 文脈に配慮した 3D アノテーションパイプラインは、2D-3D キーポイント対応関係と複数台の車両間の 3D 関係を活用し、ラベリングの効率性と正確性を向上させる。
• ベースラインモデルは、インスタンスセグメンテーションに Mask R-CNN を使用し、その後、可変可能な 3D 車両モデルを用いて 3D ポーズと形状を回帰する。
• 性能評価には、3D ポーズと形状の正確性を同時に考慮する新しい 3D メトリクスが採用されている。
• 人間の性能は、100 枚の画像からなるバリデーションセットを用いて評価され、人間がラベル付けした結果がアルゴリズム比較のベンチマークとして用いられている。

実験結果

リサーチクエスチョン

• RQ1 66 個のセマンティックキーポイントを含めることで、直接的な 3D レジリションと比較して、3D 車両インスタンスフィッティングの性能がどのように向上するか？
• RQ2 最先端のディーブラーニングモデルと人間のアノテーターとの間の 3D 車両インスタンス理解における性能ギャップはどの程度か？
• RQ3 距離と隠蔽が、実際のドライブシナリオにおける 3D ポーズおよび形状推定の正確性にどのように影響するか？
• RQ4 文脈に配慮した 3D アノテーションパイプラインは、大規模な 3D データセットにおけるラベリングの効率性と一貫性を顕著に向上させることができるか？
• RQ5 現在の 3D 推定モデルの主な失敗モードは何か、特に隠蔽や異常な車両外観の状況下で顕著に現れるか？

主な発見

• ApolloCar3D データセットには 5,277 枚の画像と 60,000 を超える車両インスタンスが含まれており、PASCAL3D+ や KITTI と比較して 20 倍以上も大きい。
• 3D フィッティングパイプラインに 66 個のセマンティックキーポイントを活用することで、直接的な 3D レジリションと比較して性能が顕著に向上し、より強い幾何的制約が得られる。
• バリデーションセットにおける人間の性能は、最良のアルゴリズムと比較して約 10% の正確性のギャップを示しており、さらなる改善の余地があることを示している。
• CPM ベースの検出器における 2D キーポイント検出率は 75.41%、平均ピクセル誤差は 4.39 px であったが、人間がラベル付けしたキーポイントは検出率 92.40%、平均誤差 2.67 px を達成した。
• 距離が長くなり、隠蔽が増えると性能が低下するが、非隠蔽状態の車両（しばしば遠くにあり小さく見える）では、スケールと解像度の制限により平均的に最も低い正確性を示した。
• 本研究では、人間の誤ラベリングの主な原因が、66 個のキーポイントの意味的意味を記憶しにくいためであることが明らかになった。これにより、精査と再チェックのプロセスの改善が人間ベースラインの向上に寄与する可能性がある。