[論文レビュー] MVM3Det: A Novel Method for Multi-view Monocular 3D Detection

Haoran Li, Zicheng Duan+4 more|arXiv (Cornell University)|Sep 22, 2021

Advanced Neural Network Applications参考文献 28被引用数 5

ひとこと要約

MVM3Detは、複数のカメラビュー間で特徴を統合することで、3次元位置と姿勢を同時に推定する画期的なマルチビュー単眼3次元物体検出手法を提案する。特徴の直交変換を用いた位置提案ネットワークにより一貫性のあるグローバル特徴学習を実現し、視点ごとの特徴のパース変換を考慮した特徴パースプーリングを導入したマルチブランチ姿勢推定ネットワークにより、ラベルと特徴の混乱を解消。MVM3DおよびWildTrackデータセットの両方で最先端の性能を達成し、初めて正確な姿勢推定を実現した。

ABSTRACT

Monocular 3D object detection encounters occlusion problems in many application scenarios, such as traffic monitoring, pedestrian monitoring, etc., which leads to serious false negative. Multi-view object detection effectively solves this problem by combining data from different perspectives. However, due to label confusion and feature confusion, the orientation estimation of multi-view 3D object detection is intractable, which is important for object tracking and intention prediction. In this paper, we propose a novel multi-view 3D object detection method named MVM3Det which simultaneously estimates the 3D position and orientation of the object according to the multi-view monocular information. The method consists of two parts: 1) Position proposal network, which integrates the features from different perspectives into consistent global features through feature orthogonal transformation to estimate the position. 2) Multi-branch orientation estimation network, which introduces feature perspective pooling to overcome the two confusion problems during the orientation estimation. In addition, we present a first dataset for multi-view 3D object detection named MVM3D. Comparing with State-Of-The-Art (SOTA) methods on our dataset and public dataset WildTrack, our method achieves very competitive results.

研究の動機と目的

• 交通や歩行者モニタリングなどの現実世界のシナリオにおけるオクルージョンによって引き起こされる単眼3次元検出の高い偽陰性率を低減すること。
• 単眼カメラを用いたマルチビュー3次元姿勢推定において、ラベルの混乱と特徴の混乱という二重の課題を解決すること。
• 深度センサに依存せずに、マルチビュー情報を統合する統一フレームワークを構築し、頑健な3次元物体定位と姿勢予測を実現すること。
• 今後の研究を支援するため、マルチビュー単眼3次元物体検出を専用に設計した最初のデータセットMVM3Dを提供すること。

提案手法

• 位置提案ネットワークは、特徴の直交変換を用いて複数のビュー画像特徴を一貫性のあるビューアイズビュー（BEV）空間に投影し、統一された3次元位置推定を可能にする。
• 各ビューごとに相対的姿勢を予測するマルチブランチ姿勢推定ネットワークを設計し、視点間で一貫性のないラベルによる曇りを低減する。
• 視点による空間的シフトに起因する特徴を分離するため、特徴パースプーリングを導入し、姿勢学習中の特徴の混乱を緩和する。
• BEV空間で3次元ボクシングボックス回帰と姿勢推定を同時に最適化するため、マルチブランチ回帰損失を用いる。
• 局所化と姿勢精度の向上を図るため、PPN（位置提案ネットワーク）損失とマルチブランチ回帰（MBR）損失を用いてエンドツーエンドで訓練する。
• 提案手法は、新たに導入されたMVM3Dデータセットおよび公開済みのWildTrackデータセットの両方で評価され、汎化性と耐障害性が検証された。

実験結果

リサーチクエスチョン

• RQ1 単一ビュー手法と比較して、マルチビュー単眼データは、オクルージョンによって引き起こされる偽陰性を効果的に低減できるか？
• RQ2 異なるカメラビューからの特徴が異なる空間的射影を持つ場合、一貫性のある3次元位置推定をどのように達成できるか？
• RQ3 統一されたネットワークアーキテクチャを用いることで、マルチビュー3次元姿勢推定におけるラベルの混乱と特徴の混乱をどの程度軽減できるか？
• RQ4 パース感知特徴プーリングを備えたマルチブランチネットワークは、単一ビューまたは単純な統合ベースラインと比較して、姿勢推定の精度を向上させられるか？
• RQ5 提案手法は、カスタムおよび公開済みのマルチビュー3次元検出ベンチマークの両方で最先端の性能を達成するか？

主な発見

• MVM3Dデータセットでは、MVM3Detは95.9%のAP3D、83.2%のMODP、99.2%の精度、95.8%の再現率を達成し、アブレーションベースラインを顕著に上回った。
• マルチブランチ姿勢推定ネットワークにより、IoU=0.5における姿勢AP3Dがベースラインの30.3%から49.0%に向上し、姿勢の混乱の有効な解消が示された。
• MVM3Detの完全モデルは、MVM3Dで94.7%のMODAと80.6%のMODPを達成し、複雑なオクルージョン下でも強力な局所化性能を示した。
• アブレーションスタディにより、FOTとMBRを用いたマルチビュー特徴統合が偽陰性を低減し、局所化と姿勢推定の両方の精度を向上させることを確認した。
• 公開済みのWildTrackデータセットでも、MVM3Detは競争力のある結果を達成し、カスタムMVM3Dベンチマークを超えた汎化性を確認した。
• 多様な照明条件とオクルージョン状況を備えた提案されたMVM3Dデータセットは、今後のマルチビュー単眼3次元物体検出研究の新しいベンチマークを可能にした。