[論文レビュー] Geometry Uncertainty Projection Network for Monocular 3D Object Detection

Yan Lu, Xinzhu Ma+6 more|arXiv (Cornell University)|Jul 29, 2021

Advanced Neural Network Applications参考文献 56被引用数 15

ひとこと要約

本稿では、不確実性に配慮した幾何学的事前知識を用いて深度推定を分布としてモデル化することで、単眼3次元オブジェクト検出における誤差拡大問題に対処するGeometry Uncertainty Projection Network (GUP Net)を提案する。信頼性の高い信頼度推定を可能にするGeometry Uncertainty Projection (GUP)モジュールと、訓練の安定化を図る階層的タスク学習 (HTL) 戦略を導入し、KITTIベンチマークにおいて車両と歩行者でそれぞれ3.74%および4.7%高いAP40を達成し、最先端手法を上回る性能を発揮した。

ABSTRACT

Geometry Projection is a powerful depth estimation method in monocular 3D object detection. It estimates depth dependent on heights, which introduces mathematical priors into the deep model. But projection process also introduces the error amplification problem, in which the error of the estimated height will be amplified and reflected greatly at the output depth. This property leads to uncontrollable depth inferences and also damages the training efficiency. In this paper, we propose a Geometry Uncertainty Projection Network (GUP Net) to tackle the error amplification problem at both inference and training stages. Specifically, a GUP module is proposed to obtains the geometry-guided uncertainty of the inferred depth, which not only provides high reliable confidence for each depth but also benefits depth learning. Furthermore, at the training stage, we propose a Hierarchical Task Learning strategy to reduce the instability caused by error amplification. This learning algorithm monitors the learning situation of each task by a proposed indicator and adaptively assigns the proper loss weights for different tasks according to their pre-tasks situation. Based on that, each task starts learning only when its pre-tasks are learned well, which can significantly improve the stability and efficiency of the training process. Extensive experiments demonstrate the effectiveness of the proposed method. The overall model can infer more reliable object depth than existing methods and outperforms the state-of-the-art image-based monocular 3D detectors by 3.74% and 4.7% AP40 of the car and pedestrian categories on the KITTI benchmark.

研究の動機と目的

• 幾何学的アプローチに基づく単眼3次元オブジェクト検出における誤差拡大問題に対処すること。特に、3次元高さ推定の小さな誤差が深度推定誤差を大きく拡大する問題を解決する。
• 深度推定を不確実性を伴う分布としてモデル化することで、信頼性の高い信頼度スコアを提供し、推論の信頼性を向上させること。
• タスク間の依存関係と誤差伝搬が原因で不安定化する幾何学的ガイド付きモデルの訓練を安定化させること。
• 事前タスクが十分に学習された後に後続タスクの最適化を開始する訓練戦略を開発し、収束性と性能を向上させること。

提案手法

• Geometry Uncertainty Projection (GUP)モジュールは、推定された3次元高さの分布から得られる確率分布として深度推定をモデル化し、不確実性に配慮した深度出力を可能にする。
• GUPモジュールは確率的枠組み内で不確実性理論を用い、高さ推定の不確実性を深度推定の不確実性へマッピングすることで、出力の信頼性を向上させる。
• 訓練の安定化を図るため、学習状況インジケータを介してタスク学習の進捗をモニタリングし、事前タスクの収束に応じて損失重みを動的に調整する階層的タスク学習 (HTL) 戦略を提案する。
• HTL戦略により、各タスクがその事前タスクが十分に進捗した後にのみ訓練を開始されるよう保証され、誤差拡大による不安定性が低減される。
• 数学的事前知識（透視投影）をディープラーニングと統合するため、深度を点推定ではなく分布としてモデル化することで実現する。
• 訓練プロセスでは、後段のタスクが活性化されるのは、それらに依存する前段のタスクが収束した後であるという適応的損失重み付けを用いる。これにより、訓練の安定性と最終的な性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 不確実性を伴う分布として深度推定をモデル化することで、単眼3次元オブジェクト検出における推論の信頼性が向上するか？
• RQ2 3次元高さ推定誤差が引き起こす幾何学的深度投影における誤差拡大をどのように軽減できるか？
• RQ3 強いタスク依存関係を有するマルチタスク3次元検出ネットワークにおいて、階層的訓練戦略が安定性と性能を向上させるか？
• RQ4 投影段階での不確実性モデリングは、直接的な不確実性学習と比較して、より正確な信頼度スコアを提供するか？
• RQ5 提案されたHTL戦略は、収束性および最終的性能の観点で、従来の損失重み付け手法（例：GradNorm や Task Uncertainty）と比較して優れているか？

主な発見

• 提案されたGUP Netは、KITTIベンチマークにおける車両カテゴリで、最先端手法と比較してAP40が3.74%高い性能を達成した。
• 歩行者カテゴリでは、既存の画像ベース単眼3次元検出器と比較して、AP40が4.7%向上した。
• GUPモジュールは信頼性の低い信頼度予測を顕著に低減し、遮蔽されたり遠方のオブジェクトに対して高い不確実性を割り当てる一方で、ベースラインの投影モデルとは対照的に、それらに対して誤った高い信頼度を出力しない。
• 階層的タスク学習 (HTL) 戦略は、容易な検出メトリクスにおいて約2%の性能向上をもたらし、訓練の安定化に有効であることを示している。
• 制御実験の結果、不確実性モデリングなしにGeP（Geometry Projection）コンポーネントを追加すると、不確実性を直接学習する場合に性能が低下することが確認され、GUPモジュールの必要性が裏付けられた。
• HTL戦略は、従来の損失重み付け手法（例：GradNorm や Task Uncertainty）を上回り、特にモデル内の階層的構造と誤差拡大効果を考慮した場合に顕著な優位性を示した。