[論文レビュー] Improved 2D Keypoint Detection in Out-of-Balance and Fall Situations -- combining input rotations and a kinematic model

Michael Zwölfer, D. Heinrich+5 more|arXiv (Cornell University)|Dec 22, 2021

Human Pose and Action Recognition被引用数 4

ひとこと要約

本稿では、回転させた入力フレームと運動モデルを組み合わせる後処理手法を提案し、困難なアルペンスキーの転倒やバランスを失った状況における2次元キーポイント検出を向上させる。各フレームを36の回転刻み（0°から360°まで10°刻み）で処理し、キーポイントの軌道を推定するためにアルファ・ベータ・ガンマフィルタを適用することで、転倒状況でのPCK@0.2が最大21%向上し、怪我の発生機構分析に向けたポーズ推定の精度が著しく向上する。

ABSTRACT

Injury analysis may be one of the most beneficial applications of deep learning based human pose estimation. To facilitate further research on this topic, we provide an injury specific 2D dataset for alpine skiing, covering in total 533 images. We further propose a post processing routine, that combines rotational information with a simple kinematic model. We could improve detection results in fall situations by up to 21% regarding the PCK@0.2 metric.

研究の動機と目的

• アルペンスキーの転倒やバランスを失った状況で、最先端のキーポイント検出器が著しく性能を発揮できない問題に対処すること。
• まれな極端なポーズや高オクルージョン状況における検出精度を向上させる後処理ルーチンの開発。
• アルペンスキーの転倒から得た533フレームの注釈付きデータセットを公開し、怪我に特化した2次元キーポイントデータセットを構築すること。
• ディープラーニングベースのポーズ推定を用いて、ACL損傷の発生機構をより正確に生物力学的分析できるようにすること。
• 手動でのマッチングに依存するのを減らし、困難なモーショングラブチャプチャーシナリオにおいても堅牢で自動化されたポーズ推定手法を提供すること。

提案手法

• 各入力フレームを0°から360°まで10°刻みで36回の回転刻みで処理する。
• 事前に訓練されたキーポイント検出器（例：DCPose や AlphaPose）を各回転フレームに適用し、1関節あたり36個のキーポイント候補を生成する。
• 標準的な回転行列を用いて、すべての予測キーポイントを元のフレームの座標系に再回転させる。
• 位置、速度、加速度の時間的推移に基づき、真のキーポイント位置を推定するためにアルファ・ベータ・ガンマフィルタを適用する。
• 36個の回転候補の中で信頼度が最も高いキーポイントを最終的なキーポイントとして選択し、運動モデルによるフィルタリングを用いて欠落検出の補正や回復を図る。
• 通常のスキー状況では性能を損なわないよう、本手法は「バランスを失った」や「転倒」状態のフレームにのみ選択的に適用する。

実験結果

リサーチクエスチョン

• RQ1 回転拡張と運動モデリングを組み合わせることで、スキー転倒に見られる極端で非垂直なポーズにおける2次元キーポイント検出が向上するか？
• RQ2 提案された後処理ルーチンは、ベースラインモデルと比較して、転倒やバランスを失った状況における検出性能にどのように影響を与えるか？
• RQ3 回転させた入力と運動フィルタリングは、オクルージョン、モーショーブラー、逆さまの体の向きに起因する誤差をどの程度低減するか？
• RQ4 本手法は通常のスキー状況でも高い性能を維持しつつ、困難なフレームにおける検出を著しく向上させるか？
• RQ5 本アプローチにより、アルペンスキーにおけるACL損傷の発生機構のより信頼性の高い生物力学的分析が可能になるか？

主な発見

• DCPoseを用いた場合、転倒状況でのPCK@0.2が最大21%向上し、APは0.18上昇した。
• DCPoseでは、後処理を施した後、転倒状況におけるPCK@0.2がベースラインの0.51から0.72に上昇した。
• AlphaPoseはAPが0.18上昇し、転倒フレームにおけるPCK@0.2が8%向上したが、通常のスキー状況での性能はわずかに低下した。
• 転倒フレームにおけるキーポイントの分布は著しく変動が大きく、しばしば二峰性を示しており、頻繁な検出失敗や不一致が生じていることが示された。
• 運動モデルは、元の向きでの検出がまったく得られなかったケースにおいても、特に逆さまや圧縮されたポーズの状況でキーポイントを回復させた。
• 本手法は通常のスキー状況でも高い性能を維持しつつ、困難で怪我に関連するシナリオにおける検出を著しく向上させた。