[論文レビュー] GSNet: Joint Vehicle Pose and Shape Reconstruction with Geometrical and Scene-aware Supervision

Lei Ke, Shichao Li+3 more|arXiv (Cornell University)|Jul 26, 2020

Advanced Vision and Imaging参考文献 68被引用数 5

ひとこと要約

GSNet は、新しい4方向特徴統合方式と、幾何的整合性とシーンに配慮した制約を組み合わせたハイブリッド損失を用いて、単一のRGB画像から6次元車両ポーズを同時に推定し、詳細な3次元車両形状を再構築するエンドツーエンドのディーブラーニングフレームワークである。ApolloCar3Dベンチマークにおいて1352頂点メッシュと18.36°の平均角度誤差を達成し、精度と速度の両面で先行手法を上回る最先端の性能を発揮した。

ABSTRACT

We present a novel end-to-end framework named as GSNet (Geometric and Scene-aware Network), which jointly estimates 6DoF poses and reconstructs detailed 3D car shapes from single urban street view. GSNet utilizes a unique four-way feature extraction and fusion scheme and directly regresses 6DoF poses and shapes in a single forward pass. Extensive experiments show that our diverse feature extraction and fusion scheme can greatly improve model performance. Based on a divide-and-conquer 3D shape representation strategy, GSNet reconstructs 3D vehicle shape with great detail (1352 vertices and 2700 faces). This dense mesh representation further leads us to consider geometrical consistency and scene context, and inspires a new multi-objective loss function to regularize network training, which in turn improves the accuracy of 6D pose estimation and validates the merit of jointly performing both tasks. We evaluate GSNet on the largest multi-task ApolloCar3D benchmark and achieve state-of-the-art performance both quantitatively and qualitatively. Project page is available at https://lkeab.github.io/gsnet/.

研究の動機と目的

• 都市ドライブシーンにおける単一RGB画像からの正確な6次元車両ポーズと3次元形状推定の課題に対処すること。
• 幾何学的および可視性に配慮した特徴を統合することで、ROIベースの特徴抽出を超える性能向上を図ること。
• 投影された66個のセマンティックキーポイントに基づく幾何的整合性と、シーンレベルの制約を強制する多目的損失を導入することで、監視の曖昧さを低減すること。
• 密度の高いメッシュ表現を用いたポーズと形状再構築の共同最適化の利点を実証すること。
• その分野の微調整なしにKITTIなどの未学習データセットへも一般化できることを検証すること。

提案手法

• GSNet は、領域オブイント（ROI）特徴に加え、画像からの幾何的および可視性に配慮した特徴を統合する4方向特徴抽出・統合機構を採用している。
• 1352頂点と2700面を持つ詳細なメッシュとして3次元車両形状を表現する分割統治戦略を用いることで、細分化された再構築を可能にしている。
• 幾何的整合性項（投影された66個のキーポイントに基づく）と、インスタンス間およびインスタンス-環境間の関係を強制するシーンに配慮した項を組み合わせたハイブリッド多目的損失関数を設計している。
• ネットワークは1回の順伝播で6次元ポーズと3次元形状パラメータを直接回帰可能であり、リアルタイム推論を実現している。
• 強力な監視（アノテート済み3次元形状と幾何的制約の両方）を用いて、ApolloCar3Dベンチマーク上でエンドツーエンドで学習している。
• 投影幾何学を活用して予測を正則化することで、マスクベースの損失と比較してポーズ推定の曖昧さを低減している。

実験結果

リサーチクエスチョン

• RQ1 ROI特徴を超える多様な視覚的特徴の統合は、単眼画像からの6次元ポーズと3次元形状推定を向上させることができるか？
• RQ2 キーポイントの投影を用いた幾何的整合性の強制は、マスクベースの損失と比較して3次元ポーズ回帰の曖昧さを低減できるか？
• RQ3 インスタンス間および車両-環境関係を含むシーンレベルの制約は、ネットワークの一般化性と精度を向上させることができるか？
• RQ4 ポーズと形状再構築の共同最適化は、分離されたアプローチと比較して相互に性能向上をもたらすか？
• RQ5 密度の高いメッシュ表現は、より効果的な監視を可能にし、6次元ポーズ推定の精度を向上させることができるか？

主な発見

• GSNet は ApolloCar3D ベンチマークで18.36°の平均角度誤差を達成し、中央値角度誤差を20％削減することで、先行する最先端手法を上回った。
• 分割統治形状モジュールを用いた場合、ApolloCar3D 検証セットで Rel-mAP 20.2 を達成し、リtrievalベースおよび単一PCAベースの形状表現と比べて顕著に優れた性能を示した。
• Pascal3D+ では $Acc_{\pi/6}$ が 0.98、中央値角度誤差が 2.4° を達成し、3D-RCNN の 3.0° を上回った。
• ネットワークは未学習データセットにも良好に一般化され、微調整なしにKITTIで正確な3次元再構築を生成した（定性的な結果で示された）。
• アブレーションスタディにより、4方向特徴統合とハイブリッド損失関数が性能に不可欠であることが確認され、特徴統合のアブレーションによって主要指標が10％以上低下した。
• 密度の高いメッシュ表現により、66個の投影キーポイントを介した効果的な幾何的監視が可能となり、マスクベースの損失の曖昧さが低減され、ポーズ推定のロバスト性が向上した。