[論文レビュー] Reconstructing Vechicles from a Single Image: Shape Priors for Road Scene Understanding

J. Krishna Murthy, G. V. Sai Krishna+2 more|arXiv (Cornell University)|Sep 29, 2016

Advanced Vision and Imaging参考文献 15被引用数 11

ひとこと要約

本論文は、CNNカスケードを用いた学習された形状事前分布とキーポイント検出により、1枚のRGB画像から3次元車両形状とポーズを再構築する形状に配慮した補正フレームワークを提案する。ポーズと形状推定を分離し、IRLSに基づくロバスト最適化を採用することで、単眼およびステレオ手法と比較してKITTIベンチマークにおいて平均絶対ポーズ誤差を最大27%低減し、最先端の性能を達成した。

ABSTRACT

We present an approach for reconstructing vehicles from a single (RGB) image, in the context of autonomous driving. Though the problem appears to be ill-posed, we demonstrate that prior knowledge about how 3D shapes of vehicles project to an image can be used to reason about the reverse process, i.e., how shapes (back-)project from 2D to 3D. We encode this knowledge in \emph{shape priors}, which are learnt over a small keypoint-annotated dataset. We then formulate a shape-aware adjustment problem that uses the learnt shape priors to recover the 3D pose and shape of a query object from an image. For shape representation and inference, we leverage recent successes of Convolutional Neural Networks (CNNs) for the task of object and keypoint localization, and train a novel cascaded fully-convolutional architecture to localize vehicle \emph{keypoints} in images. The shape-aware adjustment then robustly recovers shape (3D locations of the detected keypoints) while simultaneously filling in occluded keypoints. To tackle estimation errors incurred due to erroneously detected keypoints, we use an Iteratively Re-weighted Least Squares (IRLS) scheme for robust optimization, and as a by-product characterize noise models for each predicted keypoint. We evaluate our approach on autonomous driving benchmarks, and present superior results to existing monocular, as well as stereo approaches.

研究の動機と目的

• 自動運転における1枚のRGB画像からの3次元車両再構築という不適切に定義された問題に対処すること。
• 2次元の外観から3次元構造を推定するために、人間が持つ3次元車両形状の投影に関する類似の事前知識を活用すること。
• ロバストネスと精度の向上を図るため、ポーズと形状推定を分離すること。
• 部分的遮蔽や不完全なキーポイント局所化に対処するため、ロバスト最適化フレームワークを採用すること。
• 将来的な車両形状推定研究のための新しいキーポイントアノテート済みデータセットを公開すること。

提案手法

• 車両のキーポイントアノテート済み小規模データセットから形状事前分布を学習し、平面性や対称性などの典型的な3次元幾何制約をエンコードする。
• 高精度なキーポイント局所化を実現するため、新規の段階的全畝込みニューラルネットワーク（CNNカスケード）を採用する。
• 粗いから細かい調整へ：まずポーズ調整により平均形状事前分布を画像に整合させ、次に幾何制約を用いて形状調整により3次元形状を精緻化する。
• 誤ったキーポイント検出を低減し、各キーポイントごとのノイズモデルをロバストに推定するために、反復的重み付け最小二乗法（IRLS）スキームを用いる。
• 再投影誤差を最小化するとともに、学習済みの形状事前分布に近く、オブジェクト固有の幾何制約を満たす3次元形状を最適化する。
• 定性的な評価のため、推定されたワイヤフレームに最も近いCADモデルをハウスドルフ距離メトリックを用いてレンダリングする。

実験結果

リサーチクエスチョン

• RQ1 小規模なアノテート済みデータセットから学習された形状事前分布は、1枚の画像からの正確な3次元車両再構築を可能にするか？
• RQ2 ポーズと形状推定をどのように分離することで、単眼3次元再構築におけるロバストネスと精度を向上させられるか？
• RQ3 IRLSに基づく最適化スキームは、誤ったキーポイント検出が3次元形状推定に与える影響をどの程度低減できるか？
• RQ4 提案手法は、標準的な自動運転ベンチマークにおいて、既存の単眼およびステレオ手法を上回る性能を示せるか？
• RQ5 CNNカスケードは、遮蔽が生じる状況下でもキーポイント局所化にどの程度有効か？

主な発見

• 提案手法はKITTIベンチマークのエイジリスプリットで平均絶対ポーズ誤差8.79°、モダレートスプリットで12.57°、ハードスプリットで16.19°を達成し、既存の単眼およびステレオ手法と比較して最大27%の誤差低減を実現した。
• 形状調整ステップは、右前輪の中心など頻度の低い部品において、初期化誤差が大きい場合でもキーポイント精度（APK）を顕著に向上させた。
• ポーズ調整のみでも平均APKが向上するが、形状調整により全部品にわたる一貫性のある向上が確認され、形状精緻化の必要性が裏付けられた。
• IRLSの再重み付けスキームを標準のポーズ推定パイプライン（例：ASPnP）に適用することで、精度が90%以上向上した。
• CNNカスケードはGPU上で1推論あたり200.79 msの実行時間であり、自動運転アプリケーションにおけるリアルタイム実行可能性を満たす。
• ポーズ調整および形状調整の全パイプラインはCPUでも効率的に動作し、それぞれ1インスタンスあたり9.97 msおよび52 msで実行可能であり、リアルタイムデプロイメントを支援する。