[論文レビュー] Joint stereo 3D object detection and implicit surface reconstruction

Shichao Li, Huang, Xijie+2 more|arXiv (Cornell University)|Nov 25, 2021

Advanced Vision and Imaging参考文献 86被引用数 4

ひとこと要約

本論文は、RGBステレオ画像からステレオ3次元オブジェクト検出、正確なSO(3)方向推定、および暗黙的表面再構成を統合的に行う、新しい2段階学習フレームワークS-3D-RCNNを提案する。中間幾何表現（IGRs）を導入し、画像特徴を段階的に3次元オブジェクト部品座標へマッピングするとともに、ポイントベースの可視表面モデリングを拡張することで、新しい指標を用いたKITTIDataset上での最先端性能を達成し、方向推定精度と想起された形状再構成が向上した。

ABSTRACT

We present a new learning-based framework S-3D-RCNN that can recover accurate object orientation in SO(3) and simultaneously predict implicit rigid shapes from stereo RGB images. For orientation estimation, in contrast to previous studies that map local appearance to observation angles, we propose a progressive approach by extracting meaningful Intermediate Geometrical Representations (IGRs). This approach features a deep model that transforms perceived intensities from one or two views to object part coordinates to achieve direct egocentric object orientation estimation in the camera coordinate system. To further achieve finer description inside 3D bounding boxes, we investigate the implicit shape estimation problem from stereo images. We model visible object surfaces by designing a point-based representation, augmenting IGRs to explicitly address the unseen surface hallucination problem. Extensive experiments validate the effectiveness of the proposed IGRs, and S-3D-RCNN achieves superior 3D scene understanding performance. We also designed new metrics on the KITTI benchmark for our evaluation of implicit shape estimation.

研究の動機と目的

• 屋外シーンにおける単眼およびステレオRGB画像からの正確な3次元オブジェクト属性推定（特に方向と形状）の課題に取り組む。
• 外観と3次元構造のギャップを埋めるために、中間幾何表現（IGRs）を導入し、2次元画像ピxlsと3次元幾何量の間のギャップを解消する。
• 単一視点方向推定をステレオ入力に拡張し、特に小型または代表が薄いオブジェクト（歩行者や自転車）に対して、精度と耐性を向上させる。
• 可視表面ポイントをモデリングし、未観測表面の想起問題を解消することで、3次元バウンディングボックス内での暗黙的形状再構成を可能にする。
• 従来の3次元検出指標を超えて、形状の検索と表面幾何の忠実度を評価する新しい評価指標（AP_MMDおよびMMDTP）を開発する。

提案手法

• 2段階パイプラインを採用：まずステレオRGB画像から3次元オブジェクト候補を生成し、次にIGRsを用いて方向および形状予測を精緻化する。
• IGRsは、ヒートマップから2次元部品座標を回帰し、カメラ座標系における3次元オブジェクト部品座標へと持ち上げることで学習される。
• オブジェクト座標系における可視オブジェクト表面ポイントをモデリングするための新しいポイントベース表現を導入し、暗黙的形状推定を可能にする。
• 想起モジュール（Ha）は、可視点群を用いて未観測表面の妥当なポイントを生成し、形状の完全性を向上させる。
• マスクヘッドを用いて背景ポイントを抑制することで、形状再構成プロセスにおけるノイズを低減する。
• 検出、方向、形状再構成の目的関数を統合したマルチタスク損失で学習を行い、形状忠実度を評価する新しいMMDベースの指標を導入する。

実験結果

リサーチクエスチョン

• RQ1 直接回帰と比較して、中間幾何表現（IGRs）はステレオ設定における3次元オブジェクト方向推定を改善できるか？
• RQ2 提案手法は、歩行者や自転車などの小型かつ代表が薄い屋外オブジェクトに対しても一般化可能か？
• RQ3 ポイントベース表現は、未観測表面の想起を最小限に抑えて、暗黙的形状を効果的に再構成できるか？
• RQ4 ステレオ入力とIGRsの統合は、単一視点ベースラインと比較して、方向推定精度と形状再構成をどのように向上させるか？
• RQ5 実世界のシナリオにおいて、ノイズの多い3次元バウンディングボックス候補に対して、本手法はどの程度耐性を示すか？

主な発見

• S-3D-RCNNは、2D検出が完璧（AP2D=100.00）な条件下でKITTIDatasetの検証セットにおいて99.58%のAOSスコアを達成し、ベースライン（95.22%）およびDeep3DBox（98.48%）を大きく上回った。
• PPCsによるステレオ入力の追加により、ハードサンプルにおいてAOSが7.43%向上し、マルチビュー統合の利点が明確になった。
• Haモジュールにより、(0,10m]深度範囲におけるMMDTPがHaなし時（0.027）から0.0051に低下し、未観測表面の妥当なポイント生成の有効性が裏付けられた。
• マスク予測により、MMDTPが平均で40%向上し、背景ポイントの抑制が形状再構成品質の向上に寄与することが示された。
• 翻訳ノイズが増加しても（最大±0.2m）、安定した性能を維持したため、候補品質の変動に対して耐性があることが示された。
• 新しい指標AP_MMDでは、IoU > 0.7条件下でEgo-Net++がDisp R-CNNを12.5%上回ったことから、提案された形状再検索評価の有効性が検証された。