[論文レビュー] Part-level Car Parsing and Reconstruction from Single Street View

Qichuan Geng, Zhang, Hong+6 more|arXiv (Cornell University)|Nov 27, 2018

3D Shape Modeling and Analysis参考文献 45被引用数 5

ひとこと要約

本論文は、1枚のストリートビューから部分レベルの解析と3次元車両ポーズ・形状推定を統合するための新規2段階フレームワークを提案する。合成画像から実画像への部分アノテーションを転送するための暗黙的ドメイン適応と、部分特徴および3次元損失を用いた3次元に適応したネットワークを採用する。本手法は最先端の性能を達成し、A3DP-Abs指標において3D-RCNNおよびDeepMANTAをそれぞれ12.57および8.91ポイント上回る。

ABSTRACT

Part information has been shown to be resistant to occlusions and viewpoint changes, which is beneficial for various vision-related tasks. However, we found very limited work in car pose estimation and reconstruction from street views leveraging the part information. There are two major contributions in this paper. Firstly, we make the first attempt to build a framework to simultaneously estimate shape, translation, orientation, and semantic parts of cars in 3D space from a single street view. As it is labor-intensive to annotate semantic parts on real street views, we propose a specific approach to implicitly transfer part features from synthesized images to real street views. For pose and shape estimation, we propose a novel network structure that utilizes both part features and 3D losses. Secondly, we are the first to construct a high-quality dataset that contains 348 different car models with physical dimensions and part-level annotations based on global and local deformations. Given these models, we further generate 60K synthesized images with randomization of orientation, illumination, occlusion, and texture. Our results demonstrate that our part segmentation performance is significantly improved after applying our implicit transfer approach. Our network for pose and shape estimation achieves the state-of-the-art performance on the ApolloCar3D dataset and outperforms 3D-RCNN and DeepMANTA by 12.57 and 8.91 percentage points in terms of mean A3DP-Abs.

研究の動機と目的

• 部分レベルの意味情報を用いた、遮蔽および視点変化に強い3次元車両ポーズ・形状推定の課題に取り組むこと。
• 手動ラベルなしで、合成画像から実ストリートビュー画像への部分レベルアノテーションの転送手法を開発すること。
• 物理的寸法と変形モデリングを備えた高品質な、部分アノテーション付きの3次元車両データセットを構築すること。
• 部分レベル表現と3次元監督損失を統合することで、3次元車両推定性能を向上させること。

提案手法

• 2段階フレームワークを提案：第1段階では、合成画像から実画像への暗黙的ドメイン適応を用いた部分レベルの解析；第2段階では、部分特徴と3次元損失を用いた3次元ポーズ・形状推定。
• 部分レベルの意味特徴と3次元監督を統合することで、3次元形状およびポーズ推定を向上させる新しいネットワークアーキテクチャを採用。
• 348台の実車両モデルから、ランダムな照明、遮蔽、テクスチャ、視点を用いて6万枚の画像を合成するためのデータ生成パイプラインを導入。
• 予測された3次元形状の幾何的整合性を向上させるために、3次元損失関数を導入。
• サイクル整合性のある敵対的ネットワークを用いて、合成画像と実画像間の部分特徴を暗黙的に統合（特徴転送）する。
• 348台の車両モデル、物理的寸法、グローバルおよびローカル変形に基づく部分レベルアノテーションを備えた新規データセットを活用。

実験結果

リサーチクエスチョン

• RQ1 遮蔽および視点変化の下でも、部分レベルの意味的解析が1枚のストリートビューにおける3次元車両ポーズ・形状推定を改善できるか？
• RQ2 合成画像から実ストリートビュー画像への部分アノテーション転送において、暗黙的ドメイン適応はどの程度有効か？
• RQ3 インスタンスレベルの特徴のみと比較して、部分レベル特徴と3次元監督損失は、3次元車両再構成精度をどの程度向上させるか？
• RQ4 1枚の画像から3次元形状、ポーズ、および部分レベルの意味を統合的に推定できる統合フレームワークを構築できるか？
• RQ5 3D-RCNN や DeepMANTA といった最先端手法と比較して、本手法は3次元検出およびポーズ精度においてどの程度優れているか？

主な発見

• 本手法はApolloCar3Dテストセットにおいて32.87%の平均A3DP-Absスコアを達成し、3D-RCNN（16.44%）およびDeepMANTA（20.10%）をそれぞれ12.57および8.91ポイント上回った。
• アブレーションスタディにより、部分レベル表現と3次元損失が共同で性能を向上させることを確認。A3DP-Absはベースラインの23.07%から両方のコンポーネントを含めた32.87%に上昇した。
• 本ネットワークはAOS 77.89%、OS 97.88%を達成し、同じ検出AP下で3D-RCNNに対して4.19および5.27ポイントの改善を示した。
• 暗黙的ドメイン適応により、部分レベルの解析性能が顕著に向上し、実画像への合成アノテーションの有効な適用が可能になった。
• フレームワークは70のセマンティックパーツを備えた点群または三角メッシュとして3次元車両形状を効果的に再構成でき、細分化された分析を可能にした。
• 部分レベルアノテーションと物理的寸法を備えた348台の車両モデルからなる本手法のデータセットは、将来的な部分ベースの3次元車両理解研究を促進する。