[論文レビュー] Coarse-to-fine Animal Pose and Shape Estimation

Chen Li, Gim Hee Lee|arXiv (Cornell University)|Nov 16, 2021

Human Pose and Action Recognition被引用数 6

ひとこと要約

本論文は、SMALに基づくパrametricモデリングとグラフ畳み込みネットワーク（MRGCN）を用いたボクセルレベルの微調整を組み合わせた粗大から細かい3D動物のポーズおよび形状推定手法を提案する。エンコーダ・デコーダ構造を有するGCNアーキテクチャにおいて、グローバルな画像特徴とローカルなボクセルレベル特徴を併用することで、StanfordExtraで最先端の性能を達成し、Animal Pose や BADJA などの未学習データセットに対しても良好な一般化性能を示す。

ABSTRACT

Most existing animal pose and shape estimation approaches reconstruct animal meshes with a parametric SMAL model. This is because the low-dimensional pose and shape parameters of the SMAL model makes it easier for deep networks to learn the high-dimensional animal meshes. However, the SMAL model is learned from scans of toy animals with limited pose and shape variations, and thus may not be able to represent highly varying real animals well. This may result in poor fittings of the estimated meshes to the 2D evidences, e.g. 2D keypoints or silhouettes. To mitigate this problem, we propose a coarse-to-fine approach to reconstruct 3D animal mesh from a single image. The coarse estimation stage first estimates the pose, shape and translation parameters of the SMAL model. The estimated meshes are then used as a starting point by a graph convolutional network (GCN) to predict a per-vertex deformation in the refinement stage. This combination of SMAL-based and vertex-based representations benefits from both parametric and non-parametric representations. We design our mesh refinement GCN (MRGCN) as an encoder-decoder structure with hierarchical feature representations to overcome the limited receptive field of traditional GCNs. Moreover, we observe that the global image feature used by existing animal mesh reconstruction works is unable to capture detailed shape information for mesh refinement. We thus introduce a local feature extractor to retrieve a vertex-level feature and use it together with the global feature as the input of the MRGCN. We test our approach on the StanfordExtra dataset and achieve state-of-the-art results. Furthermore, we test the generalization capacity of our approach on the Animal Pose and BADJA datasets. Our code is available at the project website.

研究の動機と目的

• トイアニマルのデータで学習されたSMALモデルには、ポーズや形状の変動が限られているため、実際の動物画像への適合が不十分であるという限界を解消すること。
• 2Dの弱い教師信号（キーポイントとシルエット）のみを用いて、単一のRGB画像から3Dメッシュ再構築の精度を向上させること。
• グローバルな画像特徴だけでは、細粒度な形状微調整に不可欠なローカルな幾何的詳細を捉えきれないという問題を克服すること。
• パラメトリック表現とノンパラメトリック表現を統合した階層的メッシュ微調整フレームワークを設計し、より良い3D再構築を実現すること。
• Animal Pose や BADJA といった多様で未学習のデータセットにおいて、本手法の一般化能力を実証すること。

提案手法

• 単一のRGB画像からSMALモデルのパラメータ（形状、ポーズ、トランスレーション）を回帰する粗大推定ステージを用いる。
• 推定されたSMALパラメータから初期3Dメッシュを構築し、微調整の出発点とする。
• 階層的特徴学習とより大きな有効受容野を可能にするために、エンコーダ・デコーダ構造を備えたメッシュ微調整GCN（MRGCN）を設計する。
• 各ノードにグローバルな画像レベル特徴とローカルなボクセルレベル特徴を入力として統合し、幾何的詳細の捕捉を向上させる。
• トレーニング中にシルエット予測を最適化しマスクの整合性を高めるために、Tversky損失を用いる。
• トレーニング中の弱い教師信号として、微調整されたメッシュを用いて2Dキーポイントとシルエットを予測する。

実験結果

リサーチクエスチョン

• RQ1 パラメトリック（SMAL）とノンパラメトリック（ボクセルレベル）表現を組み合わせた粗大から細かいフレームワークは、単一画像からの3D動物メッシュ再構築を向上させることができるか？
• RQ2 GCNベースの微調整ネットワークにグローバルな画像特徴とローカルなボクセルレベル特徴を併用することで、グローバル特徴のみを用いる場合よりも良好な形状詳細回復が達成できるか？
• RQ3 提案されたエンコーダ・デコーダ構造のGCNアーキテクチャは、メッシュ微調整タスクにおける標準GCNの受容 field の制限を克服できるか？
• RQ4 既存の手法と比較して、ドメインシフトを示すAnimal Pose や BADJA といったデータセットに対して、本手法の一般化性能はどの程度高いか？
• RQ5 キーポイントの除去（例：ローカル特徴、エンコーダ・デコーダ設計）によって性能がどの程度低下するかを検証し、それらのモジュールの必要性を示せるか？

主な発見

• 提案手法は、StanfordExtraデータセットで最先端の性能を達成し、IOUが81.6%、PCK@0.15が94.4%を記録した。
• Animal Poseデータセットでは、ベースラインのWLDOと比較してIOUが10.8%向上し、平均PCK@0.15が11.3%向上した。これは、強力な一般化性能を示している。
• アブレーションスタディの結果、MRGCNを削除した（粗大のみ）場合、IOUは72.5%に低下し、微調整ステージの必要性が確認された。
• ローカル特徴を削除した場合（-LF）は、粗大のみの場合とほとんど差がなく、グローバル特徴のみでは細粒度な詳細回復が不十分であることが示された。
• エンコーダ・デコーダ構造を標準GCNに置き換えた場合（-ED）IOUは79.4%に低下し、階層的特徴学習の有効性が裏付けられた。
• Tversky損失をL1損失に置き換えた場合（-TL）性能が低下し、シルエット最適化においてTversky損失の有効性が確認された。