[論文レビュー] From Kinematics To Dynamics: Estimating Center of Pressure and Base of Support from Video Frames of Human Motion

Jesse Scott, Christopher Funk+4 more|arXiv (Cornell University)|Jan 2, 2020

Diabetic Foot Ulcer Assessment and Management参考文献 52被引用数 7

ひとこと要約

本論文では、1枚の動画フレームにおける2次元人体関節ポーズ（運動学）から足圧ヒートマップ（動的特性）を推定する深層学習モデル、PressNetおよびPressNet-Simpleを提案する。タイチのパフォーマンスから得た813,050組の同期動画と圧力データを用いた新規データセットを活用し、重心（CoP）および支え基盤（BoS）の予測において最先端の精度を達成した。これは、運動学から視覚ベースの回帰による人間の動的特性を初めてエンドツーエンドで推定した事例である。

ABSTRACT

To gain an understanding of the relation between a given human pose image and the corresponding physical foot pressure of the human subject, we propose and validate two end-to-end deep learning architectures, PressNet and PressNet-Simple, to regress foot pressure heatmaps (dynamics) from 2D human pose (kinematics) derived from a video frame. A unique video and foot pressure data set of 813,050 synchronized pairs, composed of 5-minute long choreographed Taiji movement sequences of 6 subjects, is collected and used for leaving-one-subject-out cross validation. Our initial experimental results demonstrate reliable and repeatable foot pressure prediction from a single image, setting the first baseline for such a complex cross modality mapping problem in computer vision. Furthermore, we compute and quantitatively validate the Center of Pressure (CoP) and Base of Support (BoS) from predicted foot pressure distribution, obtaining key components in pose stability analysis from images with potential applications in kinesiology, medicine, sports and robotics.

研究の動機と目的

• 視覚ベースの深層学習を用いて、2次元人体運動学から足圧動的特性への直接的なマッピングを確立すること。
• 複雑な人体運動シーケンスを対象とした大規模かつ同期された動画と足圧データセットの開発。
• 単一の動画フレームから得られる予測された重心（CoP）および支え基盤（BoS）を用いて、姿勢安定性の定量的分析を可能にすること。
• 力板やインソールセンサーを用いない、被動的で低コストな視覚センサーからの人間の動的特性の推定可能性を検証すること。
• ポーズ推定を越えて、定量的で人間の動的特性を扱うコンピュータビジョン分野における今後の研究の基盤を提供すること。

提案手法

• PressNetおよびPressNet-Simpleは、OpenPose（Body25モデル）で抽出された2次元関節座標から、足圧ヒートマップを回帰するための深層畳み込み残差ネットワークである。
• 入力は25個の関節とその信頼度スコアを有する2次元ポーズ表現であり、出力はキロパスカル（kPa）単位の足圧強度の2次元ヒートマップである。
• 6名の被験者が5分間のタイチパフォーマンスを実施した、813,050組の同期動画と足圧データから構成される大規模データセットを用いてモデルを学習した。
• 予測された圧力ヒートマップから、しきい値ベースのセグメンテーションと幾何的解析を用いて重心（CoP）および支え基盤（BoS）を算出する。
• 平均絶対誤差（MAE）、中央絶対偏差（MAD）、交差率（IoU）、およびユークリッド誤差を用いて性能を評価し、関節の遮蔽状況下でも耐性を検証した。
• 圧力ベースのセグメンテーションに3 kPaのしきい値を用い、インソールセンサーの限界と整合性を持たせた。また、CoPおよびBoSの精度に対するしきい値感度についても分析した。

実験結果

リサーチクエスチョン

• RQ1 1枚の動画フレームにおける2次元人体関節ポーズから、深層学習を用いて足圧動的特性を正確に回帰できるか？
• RQ2 関節が欠損または遮蔽されている状況下でも、足圧および派生する安定性指標（CoPおよびBoS）の予測はどれほど頑健か？
• RQ3 予測されたヒートマップから正確なCoPおよびBoS推定を実現するための最適な圧力しきい値は何か？
• RQ4 予測された圧力マップは、既存のバイオメカニクス測定基準と同等の重心（CoP）誤差を達成できるか？
• RQ5 特別なセンサーを用いずに、被動的で単一視点の動画から人間の動的特性を推定することは可能か？

主な発見

• PressNet-Simpleは、重心（CoP）のユークリッド誤差が12.8 mmであり、重心（CoM）研究の一般的な許容範囲（16.2 mm）内に収まった。
• PressNetは、CoPのユークリッド誤差が10.9 mmであり、動的安定性推定において高い精度を示した。
• K-近傍法ベースラインと比較して、足圧マップ推定において顕著な性能向上を示し、統計的に有意な改善が得られた。
• 関節の遮蔽が進行するに従い、圧力予測の最大誤差は徐々に増加し、約半数の関節が欠損した時点で飽和した。
• IoU指標を用いたBoS推定の最適なしきい値は8～15 kPaの範囲にあり、CoPの精度は15 kPa未満で安定した。
• 頑健な誤差解析（MAD）により、被験者および入力データ品質の違いに関わらず一貫した性能を示し、関節遮蔽下でも著しい劣化が見られなかった。