[論文レビュー] OMAD: Object Model with Articulated Deformations for Pose Estimation and Retrieval

Xue Han, Liu Liu+3 more|arXiv (Cornell University)|Dec 14, 2021

Multimodal Machine Learning Applications被引用数 10

ひとこと要約

本論文では、形状パラメータとジョイント状態を用いてアーティキュレーテッドオブジェクトを明示的に表現するカテゴリ固有のパrametricモデル、OMADを提案する。OMADNetは、単一視点観測からこれらのパラメータを予測する深層学習パイプラインであり、新しい合成データセット上で、カテゴリレベルのポーズ推定で最先端の性能を達成し、アーティキュレーテッドオブジェクトリtrievalでは82.3%のmAPを達成した。

ABSTRACT

Articulated objects are pervasive in daily life. However, due to the intrinsic high-DoF structure, the joint states of the articulated objects are hard to be estimated. To model articulated objects, two kinds of shape deformations namely the geometric and the pose deformation should be considered. In this work, we present a novel category-specific parametric representation called Object Model with Articulated Deformations (OMAD) to explicitly model the articulated objects. In OMAD, a category is associated with a linear shape function with shared shape basis and a non-linear joint function. Both functions can be learned from a large-scale object model dataset and fixed as category-specific priors. Then we propose an OMADNet to predict the shape parameters and the joint states from an object's single observation. With the full representation of the object shape and joint states, we can address several tasks including category-level object pose estimation and the articulated object retrieval. To evaluate these tasks, we create a synthetic dataset based on PartNet-Mobility. Extensive experiments show that our simple OMADNet can serve as a strong baseline for both tasks.

研究の動機と目的

• 単一視点観測（例：深度画像や点群）から高自由度のアーティキュレーテッドオブジェクトをモデル化する課題に対処すること。
• 統一的でカテゴリ固有の表現において、形状の幾何的変形とポーズ変形の両方を明示的にモデル化すること。
• ポーズ推定やリtrievalなどの下流タスクに向け、形状パラメータとジョイント状態を予測する深層学習フレームワークを開発すること。
• 多様なポーズと隠蔽状態を想定したアーティキュレーテッドオブジェクトモデリングの評価に適した大規模合成データセットを構築すること。
• 統一的パラメトリックオブジェクトモデルを用いて、カテゴリレベルのポーズ推定とリtrievalの強力なベースラインを確立すること。

提案手法

• OMADは、形状パラメータβとジョイント状態θを用いてアーティキュレーテッドオブジェクトを表現し、線形形状関数と非線形ジョイント関数から導かれる標準空間表現P′とΦ′を用いる。
• 形状関数P′ = S(β; B)は、カテゴリ固有の形状基底Bを用いて幾何的変形をモデル化する。一方、ジョイント関数Φ′ = J(β; Γ)は、カテゴリ固有のパラメータΓを用いてジョイント構成をモデル化する。
• 変形関数W(P′, Φ′, θ)は、標準構造をカメラ座標系にマップすることで、βとθから完全な3D再構成を可能にする。
• OMADNetは、粗い予測段階と最適化リファインメント段階を備えたニューラルネットワークを用い、単一観測からβとθを回帰する。
• キーポイント予測ブランチにアテンション機構を統合することで、局所化の正確性と意味的整合性を向上させる。
• 本手法は、PartNet-Mobilityから構築された合成データセットArtImageを活用し、ポーズ推定とリtrievalタスクの訓練および評価に用いる。

実験結果

リサーチクエスチョン

• RQ1 統一的パラメトリック表現は、カテゴリレベルのアーティキュレーテッドオブジェクトにおいて、形状の幾何的変形とポーズ変形の両方を効果的にモデル化できるか？
• RQ2 深層ニューラルネットワークは、単一視点観測から形状パラメータとジョイント状態を高い精度で予測できるか？
• RQ3 予測された形状パラメータは、アーティキュレーテッドオブジェクトリtrievalのためのロバストでポーズ不変のシグネイチャとして機能するか？
• RQ4 提案されたOMAD表現は、既存手法と比較してカテゴリレベルのポーズ推定とリtrievalで優れた性能を示すか？
• RQ5 キーポイントの監視とアテンション機構の統合は、OMADNetパイプラインの性能にどのような影響を及けるか？

主な発見

• ラップトップカテゴリでは、OMADNetがジョイント状態誤差1.1°、ジョイント距離誤差0.01を達成し、ベースライン手法を著しく上回った。
• 眼鏡カテゴリでは、2つのジョイントに対してそれぞれ1.1°および1.2°のジョイント状態誤差を達成し、複雑な変形下でも高い精度を示した。
• 5つのカテゴリにわたるアーティキュレーテッドオブジェクトリtrieバルタスクで、82.3%の平均mAPを達成し、シアンネットワークベースラインを上回った。
• アブレーションスタディの結果、最適化段階で真値キーポイントを用いることで、ドロワーカテゴリのジョイント状態誤差が0.001°にまで低下した。これは、キーポイント予測が現在のボトルネックであることを示唆している。
• t-SNE可視化により、予測された形状パラメータがポーズ不変であり、異なるインスタンス間で明確に分離されていることが確認され、リtrievalシグネイチャとしての有効性が裏付けられた。
• キーポイントブランチにアテンションスコアを統合することで、すべての指標で性能向上が確認され、局所化の正確性向上に寄与していることが示された。