[論文レビュー] PosePipe: Open-Source Human Pose Estimation Pipeline for Clinical Research

R. Cotton|arXiv (Cornell University)|Mar 16, 2022

Human Pose and Action Recognition被引用数 5

ひとこと要約

PosePipe は、臨床的応用を目的とした最新の人体ポーズ推定アルゴリズムの使用を容易にする、オープンソースで DataJoint ベースのパイプラインです。2次元／3次元キーポイント検出、ボディモデルフィッティング、人物追跡を統合し、自動データ管理、プライバシー保護のための顔のぼかし、マルチカメラおよびウェアラブルセンサデータのサポートを備えており、多様な環境における臨床的運動ビデオのスケーラブルで再現可能な分析を可能にします。

ABSTRACT

There has been significant progress in machine learning algorithms for human pose estimation that may provide immense value in rehabilitation and movement sciences. However, there remain several challenges to routine use of these tools for clinical practice and translational research, including: 1) high technical barrier to entry, 2) rapidly evolving space of algorithms, 3) challenging algorithmic interdependencies, and 4) complex data management requirements between these components. To mitigate these barriers, we developed a human pose estimation pipeline that facilitates running state-of-the-art algorithms on data acquired in clinical context. Our system allows for running different implementations of several classes of algorithms and handles their interdependencies easily. These algorithm classes include subject identification and tracking, 2D keypoint detection, 3D joint location estimation, and estimating the pose of body models. The system uses a database to manage videos, intermediate analyses, and data for computations at each stage. It also provides tools for data visualization, including generating video overlays that also obscure faces to enhance privacy. Our goal in this work is not to train new algorithms, but to advance the use of cutting-edge human pose estimation algorithms for clinical and translation research. We show that this tool facilitates analyzing large numbers of videos of human movement ranging from gait laboratories analyses, to clinic and therapy visits, to people in the community. We also highlight limitations of these algorithms when applied to clinical populations in a rehabilitation setting.

研究の動機と目的

• 臨床的および翻訳的研究における先進的な人体ポーズ推定（HPE）アルゴリズムの導入における高い技術的障壁を解消すること。
• 急速に進化するアルゴリズム、複雑なアルゴリズムの依存関係、臨床的ビデオ解析における要求の高いデータ管理課題を克服すること。
• 歩行ラボ、診療所、コミュニティ環境から得られる人間の運動ビデオの、一貫性があり再現可能でプライバシー保護された分析を促進すること。
• 人物追跡、2次元／3次元キーポイント検出、SMPL／SMPL-X ボディモデルフィッティングといった複数のアルゴリズムクラスを統合した一元化されたフレームワーク内で、モジュラーかつ拡張可能なパイプラインを提供すること。
• 患者集団におけるアルゴリズム性能の系統的評価を可能にし、臨床的アウトカム測定値と統合を支援することで、HPE の臨床的有用性を高めること。

提案手法

• ビデオ、中間結果、メタデータをすべてのパイプライン段階で構造的かつ関係的データ管理のために DataJoint を活用。
• MMPose や MMTrack などの既存ライブラリからの事前学習済みモデルを統合し、トップダウン方式の2次元キーポイント検出、3次元リフトリング、人物追跡をサポート。
• ビデオインジェストから3次元ポーズ推定、ボディモデルフィッティングまでを自動でエンドツーエンド処理するワークフローを構成可能に。
• OpenPose を用いた顔検出を活用して顔のぼかしを実装し、共有または公開される出力における患者のプライバシーを確保。
• マルチカメラおよび同期化されたウェアラブルセンサデータの統合をサポートし、検証およびモデル学習の精度向上を図る。
• 将来の物理ベースのバイオメカニカルモデリング、アクティビティ認識、新しいアルゴリズムクラスの統合を可能にするモジュラーかつ拡張可能なアーキテクチャを採用。

実験結果

リサーチクエスチョン

• RQ1 臨床的研究環境において、最新の人体ポーズ推定アルゴリズムをスケーラブルかつ再現可能に展開するためのパイプラインを構築するにはどうすればよいか？
• RQ2 自動データ管理およびプライバシー保護機能（例：顔のぼかし）を臨床的 HPE ワークフローに統合できる範囲はどの程度で、ユーザビリティに悪影響を及げないか？
• RQ3 実際のリハビリテーション環境における臨床的集団に適用された既存の HPE アルゴリズムは、耐障害性および正確性の観点でどの程度の性能を示すか？
• RQ4 追跡 → 2次元検出 → 3次元リフトリングといった相互に依存する複数段階の HPE パイプラインを、臨床データ環境に展開する際の実用的課題は何か？
• RQ5 HPE 出力から臨床的に意味のあるアウトカム測定値（例：歩行イベント検出、サイクル統計）を開発するためのパイプラインの拡張方法は何か？

主な発見

• PosePipe は、最小限のユーザー介入で、人物追跡、2次元キーポイント検出、3次元リフトリング、SMPL／SMPL-X フィッティングを含む複雑な複数段階の人体ポーズ推定パイプラインを、臨床的ビデオで正常に実行可能であることを確認した。
• 自動顔ぼかしにより、プライバシー保護が可能な動画分析を実現しており、これは臨床データ共有や公開に不可欠な要件である。
• 拡張可能でモジュラーなアーキテクチャを備えており、マルチカメラおよびウェアラブルセンサデータを含む新しいアルゴリズムやデータモダリティの統合が可能で、精度と検証の向上に寄与している。
• DataJoint を用いたデータ管理とワークフローオchestrationの基盤により、臨床研究者が使用する際の技術的障壁を大幅に低減した。
• 大規模なグランドトゥルースデータセットが不足する中でも、人間レーティングによる出力品質評価を可能にすることで、HPE アルゴリズムの臨床的集団への系統的評価を促進した。
• 著者らは、PosePipe が、歩行ラボからコミュニティベースの療法セッションに至るまで、多様な臨床的文脈において一貫した大規模な運動ビデオ分析を可能にしていることを示した。