[論文レビュー] Learning Dynamics from Kinematics: Estimating 2D Foot Pressure Maps from Video Frames

Christopher Funk, S. Nagendra+5 more|arXiv (Cornell University)|Nov 30, 2018

Human Pose and Action Recognition参考文献 61被引用数 5

ひとこと要約

本稿では、ビデオから抽出した2次元人体関節ポーズから2次元足圧ヒートマップ（ならびにそれらから導かれる圧力中心：CoP）を回帰するエンドツーエンドのディーブラーニングモデル、PressNETを提案する。700万フレームを超える5分以上の長時間にわたるTaijiシーケンスを含む大規模で同期化されたデータセットで訓練されたPressNETは、ヒートマップ予測およびCoP推定の両面でK-Nearest Neighborsを顕著に上回り、運動学的研究における被騣間ばらつきの範囲内で高い精度を達成している。

ABSTRACT

Pose stability analysis is the key to understanding locomotion and control of body equilibrium, with applications in numerous fields such as kinesiology, medicine, and robotics. In biomechanics, Center of Pressure (CoP) is used in studies of human postural control and gait. We propose and validate a novel approach to learn CoP from pose of a human body to aid stability analysis. More specifically, we propose an end-to-end deep learning architecture to regress foot pressure heatmaps, and hence the CoP locations, from 2D human pose derived from video. We have collected a set of long (5min +) choreographed Taiji (Tai Chi) sequences of multiple subjects with synchronized foot pressure and video data. The derived human pose data and corresponding foot pressure maps are used jointly in training a convolutional neural network with residual architecture, named PressNET. Cross-subject validation results show promising performance of PressNET, significantly outperforming the baseline method of K-Nearest Neighbors. Furthermore, we demonstrate that our computation of center of pressure (CoP) from PressNET is not only significantly more accurate than those obtained from the baseline approach but also meets the expectations of corresponding lab-based measurements of stability studies in kinesiology.

研究の動機と目的

• 単一ビューのビデオから直接的な力の測定や筋活動の測定なしに、人間の身体のダイナミクス、特に足圧分布を推定できるかを調査すること。
• 身体ポーズの運動学的特徴を足圧ダイナミクスにマッピングするディープラーニングフレームワークを構築すること。
• 同期化されたビデオと足圧データを含む、長時間にわたる複数被験者の困難なデータセット上でモデルの性能を検証すること。
• 学習された圧力マップから得られる予測されたCoP位置が、運動学的・生物力学的研究で用いられるラボベースの測定値と定量的に同等であることを示すこと。

提案手法

• モデルは、OpenPose（Body25モデル）を用いてビデオフレームから抽出した2次元関節座標から2次元足圧ヒートマップを回帰するための残差畳み込みニューラルネットワーク（PressNET）を用いる。
• 入力は25個のキーポoint位置を表す2次元ポーズベクトルであり、出力は各足のピクセル単位の圧力ヒートマップで、0 kPa（青）から観測された最大圧力（赤）まで強度がマッピングされる。
• ネットワークは、6名の被験者が24形Taiji Quanのルーチンを実施した、同期化されたビデオと足圧データの大規模データセット上でエンドツーエンドに訓練される。
• 時間的整合性は、ネットワークのインダクティブバイアスによって達成され、フレームごとのKNN手法とは異なり、滑らかで安定した圧力マップを時間的に予測するよう学習される。
• モデルの評価には被験者間バリデーションが用いられ、予測されたヒートマップと真値との間の平均絶対誤差（MAE）およびCoP位置の誤差を指標として性能を測定する。
• 圧力中心（CoP）は、予測された圧力ヒートマップの圧力分布の重心として計算される。

実験結果

リサーチクエスチョン

• RQ1 2次元人体ポーズのみを用いて、ビデオ入力からのみで、足圧ダイナミクスを正確に回帰できるか。
• RQ2 2次元ポーズから足圧マップを予測する際、ディープラーニングモデルの性能は、従来のK-Nearest Neighborsベースラインと比べてどう異なるか。
• RQ3 学習されたCoP位置の予測値は、運動学的および生物力学的研究で用いられる真値測定とどの程度一致するか。
• RQ4 身体のダイナミクスやパフォーマンススタイルの違いがあるにもかかわらず、モデルは異なる被験者に一般化できるか。
• RQ5 歩行やバランス分析に求められるように、時間的に圧力マップの予測が安定的かつ一貫しているか。

主な発見

• PressNETは、すべてのテストフレームにおいて、K-Nearest Neighborsベースラインと比較して顕著に低い平均絶対誤差（MAE）を示し、2次元足圧ヒートマップの予測性能が優れている。
• PressNETが予測するCoP位置の平均ユークリッド誤差は10 mm未満であり、ポストラルステーブリティの運動学的研究で認められる範囲内に収まっている。
• PressNETのCoP予測誤差の分布は(0,0)の周囲にきわめて集中しており、高精度かつ低分散であることを示しており、KNN予測で見られる高い変動とは対照的である。
• PressNETの予測は時間的に滑らかで一貫しており、フレームごとの最近傍探索に依存するKNN予測とは異なり、高い一貫性を示している。
• 身体の形状やパフォーマンススタイルの違いがある被験者間でも、モデルは良好に一般化しており、被験者間ばらつきに対して高いロバスト性を示している。
• 予測された圧力ヒートマップは、視覚的および定量的に真値と非常に近接しており、最小限の知覚的およびメトリックなずれが生じている。