[論文レビュー] Movement science needs different pose tracking algorithms

Nidhi Seethapathi, Shaofei Wang+3 more|arXiv (Cornell University)|Jul 24, 2019

Human Pose and Action Recognition参考文献 88被引用数 66

ひとこと要約

本論文は、現在のポーズ追跡手法が運動科学にとって重要な量を優先していないと主張し、3D運動学、力学、その他の運動科学に関連する変数をより正確に推定するようアルゴリズムを設計し直す方法を概説している。

ABSTRACT

Over the last decade, computer science has made progress towards extracting body pose from single camera photographs or videos. This promises to enable movement science to detect disease, quantify movement performance, and take the science out of the lab into the real world. However, current pose tracking algorithms fall short of the needs of movement science; the types of movement data that matter are poorly estimated. For instance, the metrics currently used for evaluating pose tracking algorithms use noisy hand-labeled ground truth data and do not prioritize precision of relevant variables like three-dimensional position, velocity, acceleration, and forces which are crucial for movement science. Here, we introduce the scientific disciplines that use movement data, the types of data they need, and discuss the changes needed to make pose tracking truly transformative for movement science.

研究の動機と目的

• 運動科学の分野がどのように運動データに依存しているか、そして現代のポーズ追跡がなぜ不十分かを説明する。
• ポーズ追跡から運動科学が必要とする具体的な量（3D位置、速度、加速度、力、絶対的な大きさ）を特定する。
• 運動関連の出力を優先するための具体的なアルゴリズムおよびベンチマークの変更案を提案する。
• 運動科学の目標をより効果的に支えるデータとグラウンドトゥルースの考慮事項を強調する。

提案手法

• 多様な運動科学分野とそれらのデータニーズを調査する。
• 現在のポーズ追跡のベンチマークとグラウンドトゥルースの実践を、運動関連指標の欠如という観点から批判的に分析する。
• 骨格階層、時間的構造、カメラ運動に基づくアルゴリズムの事前知識を提案し、3D運動学を改善する。
• 目的関数とベンチマークに速度、加速度、力の推定を組み込むことを推奨する。
• 接触と遮蔽に対処するためのデータ拡張と合成シナリオを提案する。
• 運動分析のための絶対的な大きさ/質量の推定と固定参照系の実現について助言する。

実験結果

リサーチクエスチョン

• RQ1 運動科学のためにポーズ追跡アルゴリズムが優先すべき運動関連量（例：3D運動学、力）とは何か？
• RQ2 ポーズ追跡は時間的ダイナミクスと骨格制約をどのように統合して時間とともに精度を向上させることができるか？
• RQ3 偏りを避け、多様な動作タスクを支援するために、必要なグラウンドトゥルースデータ、ベンチマーク、横断的な集団の考慮事項は何か？
• RQ4 ポーズ追跡が絶対的な大きさ、質量、力を提供して運動科学の機械的解析を可能にするにはどうすればよいか？
• RQ5 接触、遮蔽、カメラモーションに対する適応は、野外データを運動科学で利用可能にするために何が必要か？

主な発見

• 現在のポーズ追跡は2Dポーズとフレームごとの精度を重視し、運動科学にとって重要な速度、加速度、力を無視している。
• グラウンドトゥルースのベンチマークはしばしば手作業でラベル付けされたキーポイントや類似ポーズに依存し、科学のために必要な運動量を反映していない。
• 時間情報と動的構造が十分に活用されておらず、フレーム間の誤差が速度・加速度の推定へ伝播する。
• 外力、絶対質量・大きさ・慣性の推定が不十分で、生体力学的解析を妨げている。
• カメラ運動を考慮し、固定参照系で結果を提供することは、意味のある運動科学応用のために不可欠である。
• 人口統計・タスク多様性を欠く学習データは、集団や活動間でポーズ推定に偏りを生む可能性がある。