[논문 리뷰] PosePipe: Open-Source Human Pose Estimation Pipeline for Clinical Research

R. Cotton|arXiv (Cornell University)|2022. 03. 16.

Human Pose and Action Recognition인용 수 5

한 줄 요약

PosePipe는 운동과학 및 재활 연구 분야에서 최신 인간 자세 추정 알고리즘을 임상적으로 활용할 수 있도록 단순화한 오픈소스, DataJoint 기반의 파이프라인입니다. 2D/3D 관절점 검출, 신체 모델 피팅, 사람 추적 기능을 자동화된 데이터 관리, 개인정보 보호를 위한 얼굴 흐림 처리, 다중 카메라 및 웨어러블 센서 데이터 지원과 함께 통합하여 다양한 환경에서 임상적 운동 영상의 확장성 있고 재현 가능한 분석을 가능하게 합니다.

ABSTRACT

There has been significant progress in machine learning algorithms for human pose estimation that may provide immense value in rehabilitation and movement sciences. However, there remain several challenges to routine use of these tools for clinical practice and translational research, including: 1) high technical barrier to entry, 2) rapidly evolving space of algorithms, 3) challenging algorithmic interdependencies, and 4) complex data management requirements between these components. To mitigate these barriers, we developed a human pose estimation pipeline that facilitates running state-of-the-art algorithms on data acquired in clinical context. Our system allows for running different implementations of several classes of algorithms and handles their interdependencies easily. These algorithm classes include subject identification and tracking, 2D keypoint detection, 3D joint location estimation, and estimating the pose of body models. The system uses a database to manage videos, intermediate analyses, and data for computations at each stage. It also provides tools for data visualization, including generating video overlays that also obscure faces to enhance privacy. Our goal in this work is not to train new algorithms, but to advance the use of cutting-edge human pose estimation algorithms for clinical and translation research. We show that this tool facilitates analyzing large numbers of videos of human movement ranging from gait laboratories analyses, to clinic and therapy visits, to people in the community. We also highlight limitations of these algorithms when applied to clinical populations in a rehabilitation setting.

연구 동기 및 목표

• 임상 및 번역 연구 분야에서 고도로 발전된 인간 자세 추정(HPE) 알고리즘을 구현하는 데 있어 높은 기술적 장벽을 해소하기 위해.
• 빠르게 변화하는 알고리즘, 복잡한 알고리즘 간 의존성, 임상 영상 분석에서 요구하는 높은 수준의 데이터 관리 도전 과제를 극복하기 위해.
• 보행 실험실, 클리닉, 공동체 환경에서 수집된 인간 운동 영상의 일관성 있고 재현 가능한, 개인정보 보호를 고려한 분석을 촉진하기 위해.
• 사람 추적, 2D/3D 관절점 검출, SMPL/SMPL-X 신체 모델 피팅 등의 다양한 알고리즘 유형을 통합한 단일 프레임워크 내에서 모듈러하고 확장 가능한 파이프라인을 제공하기 위해.
• 환자 집단에서 알고리즘 성능을 체계적으로 평가할 수 있도록 하고 임상 결과 측정치와의 통합을 지원함으로써 HPE의 임상적 활용도를 향상시키기 위해.

제안 방법

• 모든 파이프라인 단계에서 영상, 중간 결과, 메타데이터의 구조적이고 관계형 데이터 관리를 위해 DataJoint를 기반으로 합니다.
• MMPose, MMTrack 등 기존 라이브러리에서 제공하는 사전 학습된 모델을 통합하여 상향식 2D 관절점 검출, 3D 리프팅, 사람 추적 기능을 지원합니다.
• 영상 수신부터 3D 자세 추정, 신체 모델 피팅까지의 엔드 투 엔드 처리를 자동화하며, 구성 가능한 워크플로우를 제공합니다.
• OpenPose 기반 얼굴 검출을 통한 얼굴 흐림 처리를 구현하여 공유되거나 발표되는 결과물에서 환자의 개인정보 보호를 보장합니다.
• 다중 카메라 및 동기화된 웨어러블 센서 데이터 통합을 지원하여 검증 및 모델 훈련을 향상시킵니다.
• 모듈러하고 확장 가능한 아키텍처를 사용하여 향후 물리 기반 생체역학 모델링, 행동 인식, 새로운 알고리즘 유형의 통합을 가능하게 합니다.

실험 결과

연구 질문

• RQ1 어떻게 하면 임상 연구 환경에서 최신 기술의 인간 자세 추정 알고리즘을 확장성 있고 재현 가능한 방식으로 구현할 수 있을까?
• RQ2 자동화된 데이터 관리 및 개인정보 보호 기능(예: 얼굴 흐림 처리)을 임상 HPE 워크플로우에 통합할 때 사용성에 영향을 주지 않으면서 어느 정도까지 실현 가능한가?
• RQ3 기존 HPE 알고리즘이 실제 재활 환경에서 환자 집단에 적용되었을 때, 특히 내성적 안정성과 정확도 측면에서 어떻게 성능을 발휘하는가?
• RQ4 상호의존적인 알고리즘(예: 추적 → 2D 검출 → 3D 리프팅)을 포함하는 다단계 HPE 파이프라인을 임상 데이터 환경에 구현할 때 발생하는 실질적 과제는 무엇인가?
• RQ5 HPE 출력에서 임상적으로 의미 있는 결과 측정치(예: 보행 이벤트 탐지, 사이클 통계) 개발을 지원하기 위해 파이프라인은 어떻게 확장될 수 있는가?

주요 결과

• PosePipe는 최소한의 사용자 간섭으로도 사람 추적, 2D 관절점 검출, 3D 리프팅, SMPL/SMPL-X 피팅을 포함한 복잡한 다단계 인간 자세 추정 파이프라인을 임상 영상에서 성공적으로 실행할 수 있습니다.
• 자동화된 얼굴 흐림 처리를 통한 개인정보 보호 기능을 통해 영상 분석의 기밀성을 확보하여, 임상 데이터 공유 및 발표에 필수적인 조건을 충족합니다.
• 파이프라인은 확장성과 모듈러성을 갖추고 있어 새로운 알고리즘과 데이터 모odalities(다중 카메라 및 웨어러블 센서 데이터 포함)의 통합이 가능하여 정확도 향상과 검증을 향상시킵니다.
• DataJoint 기반의 표준화된 데이터 관리 및 워크플로우 오케스트레이션 프레임워크를 제공함으로써 임상 연구자들이 접근하기 위한 기술적 장벽을 크게 낮춥니다.
• 대규모 지표 데이터셋이 부족한 상황에서도 인간 평가자 기반의 출력 품질 평가를 가능하게 하여, 환자 집단에서 HPE 알고리즘의 체계적 평가를 촉진합니다.
• 저자들은 PosePipe가 보행 실험실에서 공동체 기반 치료 세션에 이르기까지 다양한 임상 맥락에서 일관되고 대규모의 운동 영상 분석을 가능하게 한다고 입증합니다.