[論文レビュー] Robust pose tracking with a joint model of appearance and shape

Yuliang Guo, Lakshmi Narasimhan Govindarajan+2 more|arXiv (Cornell University)|Jun 28, 2018

Human Pose and Action Recognition参考文献 6被引用数 3

ひとこと要約

本稿では、外見、空間的部品関係、骨格形状の一貫性を統合的にモデル化することで、小型実験動物の2次元ポーズ追跡を向上させる、段階的形状補正 Flexible Mixture of Parts (scFMP) モデルを提案する。標準の FMP モデルを用いて誤検出を事前にフィルタリングした後、形状一貫性を考慮した精緻化を施すことで、特に遮蔽下でも顕著に高い精度を達成し、ニトンデューサやラットのデータセットにおいて、元の FMP モデルおよびディープラーニングベースライン (CPM) を上回る性能を発揮する。

ABSTRACT

We present a novel approach for estimating the 2D pose of an articulated object with an application to automated video analysis of small laboratory animals. We have found that deformable part models developed for humans, exemplified by the flexible mixture of parts (FMP) model, typically fail on challenging animal poses. We argue that beyond encoding appearance and spatial relations, shape is needed to overcome the lack of distinctive landmarks on laboratory animal bodies. In our approach, a shape consistent FMP (scFMP) model computes promising pose candidates after a standard FMP model is used to rapidly discard false part detections. This "cascaded" approach combines the relative strengths of spatial-relations, appearance and shape representations and is shown to yield significant improvements over the original FMP model as well as a representative deep neural network baseline.

研究の動機と目的

• 既存のポーズ追跡手法が小型実験動物において、特に遮蔽下やコントラストが低く特徴が不明瞭な体部を対象とした場合に示す限界を解消すること。
• 柔軟な部品混合モデル (FMP) を、困難なポーズ下でも耐性を高めるために明示的な形状制約を組み込むことで改善すること。
• 高速な外見ベースのフィルタリングと形状に配慮した精緻化を組み合わせた、計算コストを抑えた効率的な段階的フレームワークを構築すること。
• ニトンデューサやラットの実世界の動画データセットを用いて、自己遮蔽や特徴点の欠如により標準モデルが失敗する状況下での手法の有効性を検証すること。

提案手法

• まず、外見的特徴と空間的部品関係を用いて、高速に部品を検出し、トップ-M 個のポーズ候補を生成する標準 FMP モデルを適用する。
• 得られたトップ-M 候補は、骨格に基づく形状事前分布を用いて幾何学的妥当性を強制する形状一貫性 FMP (scFMP) モデルによって精緻化される。
• 形状モデルは、隣接する部品間の「良好な連続性」を表現し、不自然な折れ曲がりや非生理的形状を避け、滑らかで解剖学的に妥当な変形を優遇する。
• 段階的設計により、初期の FMP パass で得られた最も有望な候補に限定して形状ベースの探索を実施することで、計算コストを削減する。
• 部分検出器として HOG テンプレートを用い、条件付きランダムフィールド (CRF) フレームワークを用いて部分位置と形状一貫性を同時に最適化する。
• 比較のため、同じデータセットで微調整されたディープラーニングベースライン (畳み込み型ポーズマシン、CPM) を用いて、類似条件下での性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 特徴が不明瞭で自己遮蔽が頻発する小型実験動物において、明示的な形状モデリングがポーズ追跡の耐性を向上させ得るか？
• RQ2 高速な外見ベースのフィルタリングと形状に配慮した精緻化を組み合わせた段階的アーキテクチャは、エンドツーエンドのディープラーニングや標準 FMP と比較して、より高い精度と効率を達成できるか？
• RQ3 形状一貫性の組み込みが、ニトンデューサのオメガターンやラットの尾の動きといった困難なポーズにおける性能にどのように影響を与えるか？
• RQ4 限られたアノテーションと高い遮蔽率を示すデータセットにおいて、提案手法は強力なディープラーニングベースライン (CPM) をどの程度上回るか？

主な発見

• ニトンデューサデータセットにおいて、scFMP モデルはトップ80個のポーズ候補を返す場合、平均 PCK が 0.83 を達成し、CPM ベースライン (0.59) や元の FMP (M=1 時に 0.56) を顕著に上回る。
• ラットデータセットでは、フレームベースおよびシーケンスベースの両方の精度において、scFMP モデルは元の FMP を常に上回り、遮蔽への耐性が向上し、尾のような細い体部の局在化精度も向上している。
• 定性的な結果から、scFMP モデルは遮蔽下でも連続的な体部の変形を効果的に回復しているのに対し、FMP モデルはしばしば妥当な構成を維持できていない。
• 段階的設計により、探索空間を縮小しつつ高い精度を維持しており、形状ベースの精緻化が計算的に実行可能であることを示している。
• 形状制約なしでエッジの強度と明るさを入力として CPM を学習させた場合、平均 PCK はたった 0.50 にとどまり、これらのデータセットでは形状情報が性能に不可欠であることが示された。