[論文レビュー] Semantic Photometric Bundle Adjustment on Natural Sequences

Rui Zhu, Chaoyang Wang+3 more|arXiv (Cornell University)|Nov 30, 2017

Robotics and Sensor-Based Localization参考文献 22被引用数 3

ひとこと要約

本論文は、深層学習に基づく3次元形状事前分布を光度最適化フレームワークに統合することで、自然画像シーケンスからの高密度かつ高精度な3次元再構築を可能にする意味的光度最適化バンドル調整（PBA）を提案する。意味的事前分布を活用することで、低テクスチャ条件や視点カバレッジが限られた状況下でも、最先端の深度精度と再構築密度を達成し、PBAレベルの光度一貫性を維持したSLAMに類似したカメラポーズ推定を実現する。

ABSTRACT

The problem of obtaining dense reconstruction of an object in a natural sequence of images has been long studied in computer vision. Classically this problem has been solved through the application of bundle adjustment (BA). More recently, excellent results have been attained through the application of photometric bundle adjustment (PBA) methods -- which directly minimize the photometric error across frames. A fundamental drawback to BA & PBA, however, is: (i) their reliance on having to view all points on the object, and (ii) for the object surface to be well textured. To circumvent these limitations we propose semantic PBA which incorporates a 3D object prior, obtained through deep learning, within the photometric bundle adjustment problem. We demonstrate state of the art performance in comparison to leading methods for object reconstruction across numerous natural sequences.

研究の動機と目的

• 物体がテクスチャが乏しい、もしくは部分的にしか観測されない状況下で、古典的かつ光度最適化バンドル調整（PBA）が高密度な3次元形状を再構築するのを妨げる限界を解消すること。
• 深層学習から得た学習済み3次元形状事前分布をPBA最適化パイプラインに統合し、再構築の密度と耐性を向上させること。
• 広範な視点カバレッジや高テクスチャを必要としない自然なシーケンスにおいて、正確でグローバルに一貫性のある6DoFカメラポーズ推定と高密度な深度マップ回復を可能にすること。
• テスト時における光度一貫性を強制することで、深層学習ベースの3次元再構築と幾何最適化の間のギャップを埋めること。

提案手法

• 本手法は、カメラポーズと深度マップを同時に最適化する意味的PBA目的関数を定式化し、深層ニューラルネットワークから得た3次元形状事前分布を組み込む。
• 形状ネットワーク（例：ShapeNet）から得た学習済み形状事前分布を幾何的事前分布として用い、自己遮蔽やテクスチャが乏しい点に対しても再構築を可能にする。
• 最適化はフレーム間の光度誤差を最小化するように行われ、推定されたカメラポーズを用いて推定された3次元形状を画像平面に再投影することで一貫性を強制する。
• 古典的PBA（例：Hamら[11]）の結果を初期値として用いることで、収束性と精度を向上させる強力なベースラインを提供する。
• 最適化中にスレート（輪郭）と深度制約を強制することで、解の正則化をさらに強化する。
• 評価のための実地データセットを収集し、レンダリング済みおよび自然なシーケンスを含み、真値のカメラポーズ、深度マップ、CADに一致した形状を提供する。

実験結果

リサーチクエスチョン

• RQ1 古典的PBAがテクスチャが乏しい、もしくは可視性が限られた状況で失敗する自然画像シーケンスにおいて、学習済み3次元形状事前分布が再構築の密度と精度を顕著に向上させることができるか？
• RQ2 PBA最適化パイプラインに意味的事前分布を統合することで、カメラポーズの初期値に大きな誤差がある状況下でも収束の耐性が向上するか？
• RQ3 実世界の自然なシーケンスにおいて、意味的PBAが古典的PBAおよび深層学習ベースの手法をどれだけ上回るか、深度精度と再構築密度という観点から評価できるか？
• RQ4 テスト時に光度一貫性を強制し、形状事前分布を組み合わせることで、エンドツーエンド学習手法に比べてより信頼性が高く幾何学的に一貫性のある3次元再構築が可能になるか？

主な発見

• レンダリング済みシーケンスでは、本手法は深度誤差0.0627、密度0.9342を達成し、Ham ら（0.0682の深度誤差、0.4732の密度）およびopenMVS（0.0731の深度誤差、0.5862の密度）を上回る性能を示した。
• 自然なシーケンスでは、本手法は深度誤差0.0756、密度0.9076を達成し、openMVS（0.0798の深度誤差、0.6987の密度）およびHam ら（0.0804の深度誤差、0.6558の密度）を顕著に上回った。
• 初期値誤差に対して優れた耐性を示し、図8に示すように、大きな初期ポーズ誤差に対しても信頼性高く収束する。Zhu ら[26]よりも収束安定性に優れた。
• 意味的形状事前分布のおかげで、PBAレベルの精度を維持したSLAMに類似したカメラポーズ推定を実現するとともに、openMVSおよびHam らより高密度な深度マップを生成した。
• 定性的な結果から、本手法は2フレームのみでも完全な3次元形状とグローバルに一貫性のあるカメラトラジェクトリを再構築できる一方、古典的PBA手法はこのような低観測条件下で失敗することが明らかになった。
• 合成データで学習した深層学習手法（例：[3, 6]）は自然なシーケンスにおいてドメインギャップの問題を抱えるが、本手法はテスト時の幾何学的一貫性の強制により、依然として優れた性能を維持した。