[論文レビュー] DirectShape: Direct Photometric Alignment of Shape Priors for Visual Vehicle Pose and Shape Estimation

Rui Wang, Nan Yang+2 more|arXiv (Cornell University)|Apr 22, 2019

Robotics and Sensor-Based Localization参考文献 41被引用数 9

ひとこと要約

本稿では、ステレオ画像から直接、形状の事前知識を用いた輝度および輪郭一致を用いて、3次元車両のポーズと形状を同時に推定する新規手法DirectShapeを提案する。ステレオ点群に依存せずに画像空間におけるエネルギー関数を最適化することで、ポーズおよび形状推定の精度を著しく向上させるとともに、深層学習ベースの検出器の性能を大きく向上させるリファインメント手法として有効である。

ABSTRACT

Scene understanding from images is a challenging problem encountered in autonomous driving. On the object level, while 2D methods have gradually evolved from computing simple bounding boxes to delivering finer grained results like instance segmentations, the 3D family is still dominated by estimating 3D bounding boxes. In this paper, we propose a novel approach to jointly infer the 3D rigid-body poses and shapes of vehicles from a stereo image pair using shape priors. Unlike previous works that geometrically align shapes to point clouds from dense stereo reconstruction, our approach works directly on images by combining a photometric and a silhouette alignment term in the energy function. An adaptive sparse point selection scheme is proposed to efficiently measure the consistency with both terms. In experiments, we show superior performance of our method on 3D pose and shape estimation over the previous geometric approach and demonstrate that our method can also be applied as a refinement step and significantly boost the performances of several state-of-the-art deep learning based 3D object detectors. All related materials and demonstration videos are available at the project page https://vision.in.tum.de/research/vslam/direct-shape.

研究の動機と目的

• 現在の3次元オブジェクト検出器が粗い3次元バウンディングボックスしか推定しないという限界を解消する。この情報には詳細な形状やポーズが欠けている。
• 従来の幾何的整合パイプラインにおけるステレオマッチングに起因する誤差を回避するため、画像空間に直接作業する。
• 符号付き距離関数（SDF）を用いた暗黙的な3次元形状事前知識により、遮蔽、照明変化、反射面に対する耐性を向上させる。
• 輝度および輪郭整合性を用いて、画像空間で微分可能でエンドツーエンドの最適化フレームワークを構築し、3次元ポーズと形状を同時に精緻化する。
• 既存の深層学習ベースの3次元検出器に対して、再トレーニングを必要とせず、後処理のリファインメントステップとして本手法を適用することで性能向上を実現する。

提案手法

• 形状事前知識から導出された3次元符号付き距離関数（SDF）の低次元線形部分空間を用いて、車両形状を表現する。
• 輝度残差（左・右画像間の色の整合性）と輪郭残差（マスクの一致）を組み合わせた非線形最小二乗エネルギー関数を定式化する。
• ガウス・ニュートン最適化を用いて、画像強度に直接基づき、3次元剛体ポーズと形状パラメータを最適化する。
• 効率的な輝度および輪郭整合性項の計算のため、適応的スパースポイント選択方式を実装する。
• 中間のステレオ再構築を回避し、形状事前知識を直接画像特徴に一致させることで、誤差伝搬を低減する。
• 既存の3次元検出器に統合し、再トレーニングを必要とせず、出力品質を向上させるリファインメントモジュールとしての統合を実現する。

実験結果

リサーチクエスチョン

• RQ1 画像空間における直接的な輝度および輪郭一致が、ステレオ点群を用いた幾何的整合法を上回るのか？
• RQ2 遮蔽や悪化した照明下のような困難な条件下でも、微分可能で画像空間における最適化フレームワークが3次元形状およびポーズの精度をどの程度向上できるか？
• RQ3 本手法が、実世界のシナリオにおいて、深層学習ベースの3次元オブジェクト検出器のリファインメントステップとしてどれほど有効か？
• RQ4 SDFに基づく形状事前知識は、ステレオマッチングによる不完全またはノイズの多い3次元再構築に対し、耐性を高めるか？
• RQ5 本手法は、長距離車両、切断、部分的遮蔽を含む多様な実世界状況に一般化可能か？

主な発見

• 本手法は、KITTIステレオ2015ベンチマークにおいて、形状評価指標（完全性、正確性、F1スコア、RMSE）のすべてで、従来の幾何的整合手法を上回った。
• 形状推定において、τ = 0.1mの条件下で、幾何的ベースラインに比べてF1スコアが3.4%高く、RMSEが1.2 mm低かった。
• 3次元ポーズ推定において、KITTI 3Dオブジェクトベンチマークで、すべての難易度レベル（Easy, Moderate, Hard）において平均精度（AP）が高く出力された。
• 4つの最先端の3次元検出器（Mono3D, Deep3DBox, 3DOP, MLF）に本手法をリファインメントステップとして適用したところ、AP_{3D}およびAP_{bv}スコアが顕著に向上した。
• 定性的な結果から、重度の遮蔽や長距離車両のような困難な状況下でも、より正確で一貫性のある3次元形状とポーズを生成することが確認された。
• 推論時にLiDARやステレオ点群を必要とせず、ステレオ画像とセグメンテーションマスクのみに依存する。