[論文レビュー] Objects are Different: Flexible Monocular 3D Object Detection

Yunpeng Zhang, Jiwen Lu+1 more|arXiv (Cornell University)|Apr 6, 2021

Robotics and Sensor-Based Localization参考文献 43被引用数 14

ひとこと要約

本稿では、エッジ特徴表現を用いて切断されたオブジェクトを分離し、不確実性を考慮したアンサンブル学習により深さ推定器を動的に統合する、柔軟な単眼3次元オブジェクト検出フレームワークMonoFlexを提案する。実時間推論を維持しながら、KITTIベンチマークのmildおよびhardの設定でそれぞれ27%および30%のAP向上を達成し、最先端の性能を実現した。

ABSTRACT

The precise localization of 3D objects from a single image without depth information is a highly challenging problem. Most existing methods adopt the same approach for all objects regardless of their diverse distributions, leading to limited performance for truncated objects. In this paper, we propose a flexible framework for monocular 3D object detection which explicitly decouples the truncated objects and adaptively combines multiple approaches for object depth estimation. Specifically, we decouple the edge of the feature map for predicting long-tail truncated objects so that the optimization of normal objects is not influenced. Furthermore, we formulate the object depth estimation as an uncertainty-guided ensemble of directly regressed object depth and solved depths from different groups of keypoints. Experiments demonstrate that our method outperforms the state-of-the-art method by relatively 27\% for the moderate level and 30\% for the hard level in the test set of KITTI benchmark while maintaining real-time efficiency. Code will be available at \url{https://github.com/zhangyp15/MonoFlex}.

研究の動機と目的

• 既存の手法がしばしば見逃してしまう、単眼画像における重度に切断された3次元オブジェクトの検出に課題を提起すること。
• 長尾分布で検出が難しいオブジェクトが一般検出性能に与える悪影響を低減すること。
• 複数の深さ推定戦略を適応的に統合することで、深さ推定のロバスト性を向上させること。
• エッジフェージャー融合モジュールを用いて、切断オブジェクトの特徴学習と予測を分離すること。
• 深さ推定器の不確実性をモデル化し、複数の深さ予測ソースに対する動的重み付けを可能にすること。

提案手法

• 投影された2次元中心点とエッジポイントをそれぞれ用いて、内部オブジェクトと外部オブジェクトを分離することで、オブジェクト予測を分離する。
• 外部オブジェクトの特徴学習と予測を分離するエッジフェージャー融合モジュールを導入し、切断オブジェクトの局所化を向上させる。
• キーポイントをMグループに分割し、それぞれが幾何的深さ解法に十分な情報を保持するようにすることで、遮蔽および切断に対するロバスト性を向上させる。
• 直接回帰とキーポイントベースのソリューションの両方の深さ推定器に対して不確実性をモデル化し、不確実性重み付き平均化により統合する。
• 不確実性推定に基づいて動的に選択・統合するソフトアンサンブル学習を採用し、ロバスト性を向上させる。
• 複数の深さ推定器の共同最適化スキームを採用することで、全オブジェクトカテゴリで検出精度を向上させつつ、実時間推論を維持する。

実験結果

リサーチクエスチョン

• RQ1 切断オブジェクトを通常のオブジェクトから分離することで、単眼3次元検出における検出性能が向上するか？
• RQ2 遮蔽および切断の影響下でも、不確実性を考慮したアンサンブル学習が深さ推定のロバスト性をどのように向上させるか？
• RQ3 複数の深さ推定手法を適応的に統合することは、固定された単一手法のアプローチを上回る性能を達成できるか？
• RQ4 エッジに敏感な表現は、長尾で重度に切断されたオブジェクトの検出をどの程度向上させるか？
• RQ5 不確実性に基づくアンサンブルは、最良の深さ推定器を選択するオラクル選択にどの程度近づけるか？

主な発見

• 提案手法は、最先端の手法と比較して、KITTIベンチマークのmildレベルで27%、hardレベルで30%の相対的な3D AP向上を達成した。
• 不確実性を考慮した深さ推定器のアンサンブルは、車両のhardレベルで23.64のAPを達成し、個々の推定器（例：直接回帰では14.83）を顕著に上回った。
• ソフトアンサンブル手法は、IoU > 0.5における歩行者検出で8.16のAPを達成し、オラクル性能の8.54に近づいた。これは優れた適応性を示している。
• エッジフェージャー融合モジュールにより、重度に切断されたオブジェクトの効果的な検出が可能になった。赤い楕円でその例が視覚的に確認された。
• 複数の深さ推定器の共同学習により、全グループで性能が向上し、アンサンブル学習が特徴学習に好影響を与えることが示された。
• 実時間推論効率を維持しており、自動運転システムにおける実用的導入に適している。