[論文レビュー] hSMAL: Detailed Horse Shape and Pose Reconstruction for Motion Pattern Recognition

Ci Li, Nima Ghorbani+6 more|arXiv (Cornell University)|Jun 18, 2021

Human Pose and Action Recognition参考文献 19被引用数 14

ひとこと要約

本論文では、37体の馬のおもちゃから得られた、馬に特化した3次元アーティキュレーテッド統計的形状およびポーズモデルhSMALを紹介する。このモデルは、2次元動画およびモーショングラフデータからの正確な3次元再構成を可能にし、平均再構成誤差が7 cmにとどまり、汎用的SMALモデルの半分である。また、hSMALから得られるポーズ系列を用いたST-GCNによる歩行障害検出性能が、モーショングラフ点のみを用いた場合に比べ優れている。

ABSTRACT

In this paper we present our preliminary work on model-based behavioral analysis of horse motion. Our approach is based on the SMAL model, a 3D articulated statistical model of animal shape. We define a novel SMAL model for horses based on a new template, skeleton and shape space learned from $37$ horse toys. We test the accuracy of our hSMAL model in reconstructing a horse from 3D mocap data and images. We apply the hSMAL model to the problem of lameness detection from video, where we fit the model to images to recover 3D pose and train an ST-GCN network on pose data. A comparison with the same network trained on mocap points illustrates the benefit of our approach.

研究の動機と目的

• 動物の運動解析を向上させるために、馬の形状とポーズを詳細に特化させた3次元モデルの開発。
• SMALのような汎用的動物モデルが種内変異を捉えきれていないという限界を、多様な馬のおもちゃを用いて学習することで解決。
• おもちゃから得た3次元統計的モデルが、2次元画像およびモーショングラフデータからの実際の馬の解剖学的形状と運動を正確に再構成できるかを評価。
• hSMALモデルを、3次元ポーズ系列を用いた馬の歩行障害検出という重要なタスクに応用。
• 動物の運動におけるパターン認識のための、モデルベースのポーズ表現（hSMAL）と生のモーショングラフ点データの比較。

提案手法

• 37体の馬のおもちゃから学習した形状空間を用い、独自の1,497頂点テンプレートと、基準テンプレートからの線形変形により、新しい馬に特化したSMALモデル（hSMAL）を構築。
• hSMALモデルを関数 M(β, θ, γ) として定義し、β は形状係数、θ は相対的な3次元関節回転（ポーズ）を表し、γ は平行移動を表す。
• 元のSMALフレームワークを適応させた手順に従い、品種および年齢による形状変動に焦点を当ててモデルを訓練。
• スイリュートと2次元キーポイントの監視を用い、3次元モーショングラフデータおよびマルチビュー動画にhSMALモデルをフィットさせ、形状およびポーズパラメータを最適化。
• 下流分類のための相対関節角度（θ）および関節位置を、フィットしたhSMALモデルから抽出し、3次元ポーズ系列を取得。
• 5クラスの歩行障害分類を目的として、hSMALおよびモーショングラフデータからのポーズ系列を用い、空間的・時間的グラフ畳み込みネットワーク（ST-GCN）を訓練および評価。

実験結果

リサーチクエスチョン

• RQ1 馬のおもちゃから学習した3次元統計的形状モデルは、2次元動画およびモーショングラフデータからの実際の馬の3次元再構成に一般化可能か？
• RQ2 hSMALモデルは、実際の馬の形状とポーズを再構成する際に、汎用的SMALモデルを上回る性能を示すか？
• RQ3 hSMALから得られる3次元ポーズ系列は、歩行障害検出のような運動パターン認識タスクにおいて、堅牢で情報豊富な表現として機能するか？
• RQ4 hSMALポーズパラメータと生の3次元モーショングラフ関節位置を用いた場合に、ST-GCNによる歩行障害分類性能はどのように異なるか？
• RQ5 hSMALベースのポーズ系列を用いた場合、データ拡張（シーケンスのミラー化）により歩行障害分類性能が向上するか？

主な発見

• hSMALモデルは、実際の馬に対して平均3次元再構成誤差7 cmを達成しており、これは汎用的SMALモデルの14 cm誤差の約半分である。
• hSMALベースのポーズ系列は、生の3次元モーショングラフ点と同等またはわずかに優れた歩行障害分類精度を示し、7名の被験者を対象に平均33.0%（対照群31.1%）の精度を達成。
• シーケンスのミラー化によるデータ拡張は、すべての入力タイプで性能を向上させ、hSMALポーズパラメータを用いた場合に平均35.3%の最高精度を記録。
• hSMALモデルは、安定的かつ解剖学的に妥当な馬の運動表現を提供し、形状の事前知識と運動制約が、価値を追加する可能性を示している。
• このモデルはマーカーフリーな運動解析を可能にし、実世界の状況におけるウェアラブルセンサーとは対照的に、より侵襲性の低い代替手段を提供する。
• 本手法は、おもちゃから得た3次元モデルを用いた、実際の馬における詳細な動物運動解析の可能性を示しており、未来の非制限環境への展開を支援する。