[論文レビュー] Recovering articulated object models from 3D range data

Dragomir Anguelov, Daphne Koller+3 more|arXiv (Cornell University)|Jul 7, 2004

Human Pose and Action Recognition参考文献 26被引用数 80

ひとこと要約

本稿では、3次元レンジデータから剛体部品とその空間的配置およびスケルトン構造を同時にセグメンテーションすることで、アーティキュレーテッドオブジェクトモデルを教師なしで回復するアルゴリズムを提示する。非剛性登録 followed で、空間的連続性を強制するEMベースのグラフィカルモデルを用いることで、非剛性変形に対しても複数の部品を効率的に同定可能であり、わずか7つの配置からの15部品のパペットモデルの回復に成功している。

ABSTRACT

We address the problem of unsupervised learning of complex articulated object models from 3D range data. We describe an algorithm whose input is a set of meshes corresponding to different configurations of an articulated object. The algorithm automatically recovers a decomposition of the object into approximately rigid parts, the location of the parts in the different object instances, and the articulated object skeleton linking the parts. Our algorithm first registers all the meshes using an unsupervised non-rigid technique described in a companion paper. It then segments the meshes using a graphical model that captures the spatial contiguity of parts. The segmentation is done using the EM algorithm, iterating between finding a decomposition of the object into rigid parts, and finding the location of the parts in the object instances. Although the graphical model is densely connected, the object decomposition step can be performed optimally and efficiently, allowing us to identify a large number of object parts while avoiding local maxima. We demonstrate the algorithm on real world datasets, recovering a 15-part articulated model of a human puppet from just 7 different puppet configurations, as well as a 4 part model of a flexing arm where significant non-rigid deformation was present.

研究の動機と目的

• 教師なしで3次元レンジデータからアーティキュレーテッドオブジェクトモデルを学習する課題に取り組む。
• 複数のメッシュ配置から、複雑なアーティキュレーテッドオブジェクトを近似的に剛体部品に自動分解する。
• 異なるオブジェクトインスタンス間で部品の空間的位置を同時に推定し、その背後にあるスケルトン構造を再構築する。
• 密度の高いグラフィカルモデルにもかかわらず、局所最適解を回避する効率的かつグローバルに最適な剛体セグメンテーションアルゴリズムを用いることで、部品分解における局所最適解の問題を克服する。

提案手法

• 本手法は、すべての入力メッシュを教師なしで非剛性登録し、共通の座標系に整列させることで開始する。
• メッシュ領域間の空間的連続性を符号化する、密に接続されたグラフィカルモデルを構築する。このモデルは部品間の関係をモデル化する。
• EMアルゴリズムは繰り返し2ステップを実行する：(1) メッシュの剛体セグメンテーション、(2) インスタンス間での部品位置の推定。
• 剛体セグメンテーションステップは、密度の高いグラフィカルモデルにもかかわらず、局所最大値を回避する専用のアルゴリズムを用いて、最適かつ効率的に解く。
• アルゴリズムは同時に部品の識別、各インスタンス内での空間的位置、およびそれらを接続するアーティキュレーテッドスケルトンを推論する。
• 実世界のデータセットを用いた検証により、非剛性変形に対しても頑健であることが確認された。

実験結果

リサーチクエスチョン

• RQ1 複数の異なる配置における1つのオブジェクトの3次元スキャンから、一貫性のあるアーティキュレーテッドモデルを自動的に回復できるか？
• RQ2 手動による監視なしに、剛体部品、その空間的配置、およびスケルトンを同時に推定する方法は何か？
• RQ3 非剛性変形を伴う状況下でも、近似的に剛体なコンポonentを同定できる程度はどの程度か？
• RQ4 密度の高いグラフィカルモデルの複雑さにもかかわらず、部品セグメンテーションにおける局所最適解を回避できるか？

主な発見

• 本アルゴリズムは、オブジェクトの7つの異なる配置からのみ、15部品のアーティキュレーテッドパペットモデルを成功裏に回復した。
• 入力データに顕著な非剛性変形が存在するにもかかわらず、曲げた腕の4部品アーティキュレーテッドモデルが再構築された。
• 人為的な部品ラベルなしに、正確な部品セグメンテーションとスケルトン推定が達成された。
• EMベースの最適化は、局所最適解を回避するグローバルに最適な解に収束した。
• 教師なし非剛性登録ステップにより、多様なオブジェクトポーズ間で一貫したアライメントが実現され、信頼性の高い部品発見が可能になった。
• 密なグラフィカルモデルは空間的連続性を効果的に捉え、物理的に妥当な部品グループ化を実現した。