[論文レビュー] Deep Interpretable Non-Rigid Structure from Motion

Chen Kong, Simon Lucey|arXiv (Cornell University)|Feb 28, 2019

Advanced Vision and Imaging参考文献 39被引用数 5

ひとこと要約

本論文は、非剛性構造からのモーション（NRSfM）のための深層解釈可能なニューラルネットワークを提案する。この手法は、問題をマルチレイヤー・ブロックスパース辞書学習として定式化し、3Dの教師データなしで2Dの特徴点から頑健な3D再構成を可能にする。本手法は大規模データセットで最先端の性能を達成し、未学習データに対しても効果的に一般化可能であり、真の3Dデータを必要としない、新たな一貫性に基づく品質指標を導入している。

ABSTRACT

All current non-rigid structure from motion (NRSfM) algorithms are limited with respect to: (i) the number of images, and (ii) the type of shape variability they can handle. This has hampered the practical utility of NRSfM for many applications within vision. In this paper we propose a novel deep neural network to recover camera poses and 3D points solely from an ensemble of 2D image coordinates. The proposed neural network is mathematically interpretable as a multi-layer block sparse dictionary learning problem, and can handle problems of unprecedented scale and shape complexity. Extensive experiments demonstrate the impressive performance of our approach where we exhibit superior precision and robustness against all available state-of-the-art works. The considerable model capacity of our approach affords remarkable generalization to unseen data. We propose a quality measure (based on the network weights) which circumvents the need for 3D ground-truth to ascertain the confidence we have in the reconstruction. Once the network's weights are estimated (for a non-rigid object) we show how our approach can effectively recover 3D shape from a single image -- outperforming comparable methods that rely on direct 3D supervision.

研究の動機と目的

• 現在のNRSfM手法が大規模な画像シーケンスや複雑な形状変化を扱う際の限界を克服すること。
• 数学的に解釈可能な深層ニューラルネットワークを構築し、3Dの教師データなしで未学習データに一般化可能な能力を有すること。
• 真の3Dデータに依存せずにモデル評価を行うために、辞書の一貫性に基づく新たな品質測定指標を導入すること。
• 3Dの教師データを一切必要とせず、2D投影からの単一画像から正確な3D再構成を実現すること。

提案手法

• 本手法は、NRSfMをマルチレイヤー・ブロックスパース辞書学習問題として定式化し、非剛性形状変化の構造的モデリングを可能にする。
• ISTAアルゴリズムをブロックスパースでマルチレイヤーな設定に一般化し、順方向の深層オートエンコーダアーキテクチャを構築する。
• ネットワークは2D画像座標のみを用いてエンドツーエンドに訓練され、3Dの教師データなしでカメラポーズと3D点座標を回復する。
• 主な革新点は、最終的な辞書の相互一貫性をモデル品質の代理指標として用いることで、真の3Dデータなしで訓練の指針を提供すること。
• アーキテクチャは数10万枚の画像を扱い、大規模かつ複雑な形状パラメータ化を学習可能である。
• スパースコーディング構造を通じて時間的および幾何的事前知識を暗黙的に活用し、頑健性と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 NRSfMに適した、スケーラビリティと解釈可能性を両立させた深層ニューラルネットワークを設計可能か？ 一般的なDNNのブラックボックス的性質を回避できるか？
• RQ2 2D投影のみで学習したモデルが、3Dの教師データなしで未学習の画像シーケンスに効果的に一般化可能か？
• RQ3 学習された辞書の相互一貫性が、真の3Dデータが存在しない状況でも、3D再構成品質の信頼できる代理指標として機能可能か？
• RQ4 このようなモデルは、従来の最先端手法と比較して、大規模かつ複雑な非剛性運動シーケンスにおいて優れた性能を達成可能か？

主な発見

• 提案手法はShapeNetおよびCMU MoCapベンチマークで最先端の性能を達成し、次に優れた手法と比較して形状誤差比が30%低かった。
• 単一画像における人間のポーズ推定タスクでは、Subject 15でPMPが0.200を達成し、3Dの教師データに依存する手法を上回った。
• 最終的な辞書の相互一貫性と3D再構成誤差の間には強い負の相関（R² ≈ 0.9）が観察され、品質の代理指標としての有効性が裏付けられた。
• モデルは未学習データに対しても効果的に一般化し、3Dの教師データなしで単一画像からの3D再構成に成功した。
• 140,606枚の画像をカバーする定性的な結果から、椅子やソファなど複雑なオブジェクトカテゴリに対しても高い忠実度で再構成できた。
• 失敗事例（例：Subject 106）では極端な変形に対して感受性が見られたが、全体として多様な運動パターンに対して頑健性を維持していた。