[論文レビュー] Learning Dynamics from Kinematics: Estimating Foot Pressure from Video

Christopher Funk, S. Nagendra+4 more|arXiv (Cornell University)|Nov 30, 2018

Diabetic Foot Ulcer Assessment and Management参考文献 46被引用数 1

ひとこと要約

この論文では、ビデオから得られる2次元人体ポーズシーケンスから、足圧ヒートマップおよび重心（CoP）を推定するエンドツーエンドのディープラーニングモデル、PressNETを提案する。5分以上の同期されたタイチビデオと圧力データで訓練されたPressNETは、K-Nearest Neighborsベースラインを著しく上回り、ラボベースの安定性測定と密接に一致するCoP推定を達成した。

ABSTRACT

Pose stability analysis is the key to understanding locomotion and control of body equilibrium, with applications in numerous fields such as kinesiology, medicine, and robotics. In biomechanics, Center of Pressure (CoP) is used in studies of human postural control and gait. We propose and validate a novel approach to learn CoP from pose of a human body to aid stability analysis. More specifically, we propose an end-to-end deep learning architecture to regress foot pressure heatmaps, and hence the CoP locations, from 2D human pose derived from video. We have collected a set of long (5min +) choreographed Taiji (Tai Chi) sequences of multiple subjects with synchronized foot pressure and video data. The derived human pose data and corresponding foot pressure maps are used jointly in training a convolutional neural network with residual architecture, named PressNET. Cross-subject validation results show promising performance of PressNET, significantly outperforming the baseline method of K-Nearest Neighbors. Furthermore, we demonstrate that our computation of center of pressure (CoP) from PressNET is not only significantly more accurate than those obtained from the baseline approach but also meets the expectations of corresponding lab-based measurements of stability studies in kinesiology.

研究の動機と目的

• ビデオベースの2次元人体ポーズを用いて、歩行および姿勢安定性分析を支援するための足圧および重心（CoP）推定手法を開発すること。
• タイチのような動的運動中に、センサーを用いない正確な非侵襲的CoP推定法の欠如に応えること。
• 被験者間で一般化可能で、ポーズシーケンスから圧力ヒートマップを正確に回帰できるディープラーニングモデルを構築すること。
• 運動学および生物力学分野で確立されたラボベースの測定値と比較して、モデルの性能を検証すること。
• リハビリテーション、ロボット工学、歩行研究などの分野で、スケーラブルでコスト効率の良い安定性分析を可能にすること。

提案手法

• 複数名の被験者がタイチを実施する5分以上の同期ビデオおよび足圧記録を含む、独自のデータセットを収集した。
• ビデオからポーズ推定技術を用いて2次元人体ポーズを抽出し、モデルの入力とした。
• PressNETは、2次元ポーズシーケンスから直接2次元足圧ヒートマップを回帰するための残差畳み込みニューラルネットワークとして設計された。
• ボディの配置から圧力分布へのマッピングを学習するために、ポーズと圧力データを統合してエンドツーエンドで訓練した。
• 異なる個人間での一般化性と耐性を評価するために、被験者間バリデーションを実施した。
• モデルの性能をK-Nearest Neighborsベースラインと比較し、ラボベースの安定性指標と照合した。

実験結果

リサーチクエスチョン

• RQ1 動的運動において、2次元人体ポーズシーケンスからディープラーニングモデルが正確に足圧ヒートマップを推定できるか？
• RQ2 提案されたPressNETモデルのCoP推定性能は、K-Nearest Neighborsベースラインと比べてどの程度優れているか？
• RQ3 PressNETが予測するCoP値は、運動学分野のラボベースの測定値とどの程度一致するか？
• RQ4 ビデオおよびポーズデータのみを用いて、異なる被験者間でモデルが一般化できるか？
• RQ5 学習されたCoP推定は、人間の歩行における期待される姿勢安定性のダイナミクスを保持しているか？

主な発見

• PressNETは、K-Nearest Neighborsベースラインに比べ、足圧ヒートマップおよびCoP位置の推定で著しく優れた性能を示した。
• PressNETが予測したCoPは、運動学的安定性研究で用いられるラボベースの測定値と強く一致した。
• 被験者間バリデーションにより、モデルが異なる個人に一般化できることを確認した。
• 長時間にわたるタイチシーケンスにおける動的圧力分布の推定において、高い精度を達成した。
• 結果から、特別なセンサーを用いずに、ビデオベースのポーズデータから信頼できる圧力ダイナミクスを推定可能であることが確認された。
• PressNETは、標準的なビデオおよびポーズ推定のみを用いて、正確で非侵襲的な安定性分析を可能にする。