[論文レビュー] Monocular 3D Detection with Geometric Constraints Embedding and Semi-supervised Training

Peixuan Li|arXiv (Cornell University)|Sep 2, 2020

Advanced Neural Network Applications参考文献 47被引用数 13

ひとこと要約

本稿では、RGB画像からの3次元位置推定を可能にする、1ショットでエンドツーエンドに学習可能な単眼3次元オブジェクト検出フレームワークであるKM3D-Netを提案する。この手法は、完全畳み込みネットワークに微分可能几何制約を埋め込み、2次元キーポイント、寸法、姿勢を同時に予測することで、高精度な3次元位置推定を実現する。本手法は、キーポイントドロップアウトとアフィン補正を伴う一貫性正則化を用いた新規な半教師付き学習戦略を採用し、KITTIで13%のラベル付きデータのみで最先端の性能を達成した。

ABSTRACT

In this work, we propose a novel single-shot and keypoints-based framework for monocular 3D objects detection using only RGB images, called KM3D-Net. We design a fully convolutional model to predict object keypoints, dimension, and orientation, and then combine these estimations with perspective geometry constraints to compute position attribute. Further, we reformulate the geometric constraints as a differentiable version and embed it into the network to reduce running time while maintaining the consistency of model outputs in an end-to-end fashion. Benefiting from this simple structure, we then propose an effective semi-supervised training strategy for the setting where labeled training data is scarce. In this strategy, we enforce a consensus prediction of two shared-weights KM3D-Net for the same unlabeled image under different input augmentation conditions and network regularization. In particular, we unify the coordinate-dependent augmentations as the affine transformation for the differential recovering position of objects and propose a keypoints-dropout module for the network regularization. Our model only requires RGB images without synthetic data, instance segmentation, CAD model, or depth generator. Nevertheless, extensive experiments on the popular KITTI 3D detection dataset indicate that the KM3D-Net surpasses all previous state-of-the-art methods in both efficiency and accuracy by a large margin. And also, to the best of our knowledge, this is the first time that semi-supervised learning is applied in monocular 3D objects detection. We even surpass most of the previous fully supervised methods with only 13\% labeled data on KITTI.

研究の動機と目的

• 深層学習と透視幾何制約を統合することで、単眼3次元検出の不適切な定式化を解消する。
• 学習中に勾配伝播を遮断する後処理の幾何制約の限界を克服する。
• SVDを用いて幾何制約を微分可能過決定系に再定式化することで、エンドツーエンド学習を可能にする。
• 3次元アノテーションが限られる状況でラベルなしデータを活用するための半教師付き学習戦略を開発する。
• LiDARや深度監督、CADモデル、合成データを必要とせず、高精度かつ高効率な性能を達成する。

提案手法

• 1枚のRGB画像から2次元オブジェクトキーポイント、寸法、姿勢を予測する、並列ヘッドを備えた完全畳み込みネットワークを設計する。
• 透視投影制約をSVDで解く微分可能過決定系に再定式化し、幾何的推論のバックプロパゲーションを可能にする。
• 微分可能幾何モジュールをネットワーク内に直接埋め込み、外観と空間予測のエンドツーエンド最適化を実現する。
• 訓練中にキーポイントをランダムにドロップするキーポイントドロップアウトモジュールを提案し、それらを活性化ではなく明示的特徴として扱う。
• 座標依存の増強（例：アフィン変換）を適用して、同一画像の複数の視点を生成し、一貫性正則化を実施する。
• 共有重みを用いて増強された複数の視点間で予測の一貫性を強制し、半教師付き学習のPi-Model戦略を模倣する。

実験結果

リサーチクエスチョン

• RQ1 微分可能幾何制約を深層ニューラルネットワークに効果的に埋め込むことで、単眼3次元検出の精度を向上させられるか？
• RQ2 幾何的推論をエンドツーエンドで学習可能にすることで、2次元キーポイント予測と3次元位置推定の整合性を維持できるか？
• RQ3 半教師付き学習を単眼3次元検出に効果的に適用し、高価な3次元アノテーションへの依存を減らせるか？
• RQ4 限られた監視下での条件下で、キーポイントベースの幾何定式化は、従来の2次元バウンディングボックス回帰を上回る性能を示せるか？
• RQ5 軽量で1段階のネットワークが、深度監督やLiDAR、合成データを一切不要として最先端の性能を達成できるか？

主な発見

• KM3D-NetはKITTI 3次元検出ベンチマークで最先端の性能を達成し、精度と推論速度の両面ですべての先行手法を上回った。
• ラベル付きデータをたった13%にまで減らしても、KM3D-Netは中程度設定（moderate set）で3D AP 75.78%を達成し、大多数の完全教師付き手法を上回った。
• 幾何制約を用いた2D-3D-2Dパラダイムは、2D-2D検出と同等の結果を生み出し、幾何的推論モジュールの有効性を示した。
• 提案された半教師付き学習戦略は、低監視設定での性能を顕著に向上させ、データが限られる状況でも有効であることが証明された。
• モデルはカテゴリ間で良好に一般化し、自転車（cyclists）では中程度設定で88.77%のBEV AP、歩行者（pedestrians）では10.12%を達成し、クラス不均衡に対しても頑健であることが示された。
• 定性的な結果から、回帰されたキーポイントはヒートマップベースのキーポイント検出を上回り、特に遮蔽や切断されたオブジェクトの処理において優れた性能を示した。