[논문 리뷰] Seeing Under the Cover: A Physics Guided Learning Approach for In-Bed Pose Estimation

Shuangjun Liu, Sarah Ostadabbas|arXiv (Cornell University)|2019. 07. 03.

Human Pose and Action Recognition참고 문헌 13인용 수 4

한 줄 요약

이 논문은 완전한 어둠과 완전한 커버링 조건에서 침대 안의 인간 자세를 추정하기 위해 물리학에 기반한 장파장 적외선(LWIR) 영상 기법인 열확산에 의한 커버링 영상(UCITD)을 제안한다. 열확산 물리법칙을 활용하고 진짜 자세 레이블링을 위한 물리적 초매개변수를 도입함으로써, 저자들은 SLP 데이터셋을 구축하고, 외부 데이터셋에서 미리 훈련하지 않은 채로 SLP-LWIR 데이터에서 스택드 아워글라스 네트워크를 훈련시켜 거실 환경에서는 98.0%, 병원 환경에서는 96.0%의 PCK0.2 정확도를 달성하였다. 이는 비용, 크기, 정확도 면에서 압도적으로 뛰어난 압력 매핑 시스템보다도 뛰어난 성능을 보였다.

ABSTRACT

Human in-bed pose estimation has huge practical values in medical and healthcare applications yet still mainly relies on expensive pressure mapping (PM) solutions. In this paper, we introduce our novel physics inspired vision-based approach that addresses the challenging issues associated with the in-bed pose estimation problem including monitoring a fully covered person in complete darkness. We reformulated this problem using our proposed Under the Cover Imaging via Thermal Diffusion (UCITD) method to capture the high resolution pose information of the body even when it is fully covered by using a long wavelength IR technique. We proposed a physical hyperparameter concept through which we achieved high quality groundtruth pose labels in different modalities. A fully annotated in-bed pose dataset called Simultaneously-collected multimodal Lying Pose (SLP) is also formed/released with the same order of magnitude as most existing large-scale human pose datasets to support complex models' training and evaluation. A network trained from scratch on it and tested on two diverse settings, one in a living room and the other in a hospital room showed pose estimation performance of 99.5% and 95.7% in PCK0.2 standard, respectively. Moreover, in a multi-factor comparison with a state-of-the art in-bed pose monitoring solution based on PM, our solution showed significant superiority in all practical aspects by being 60 times cheaper, 300 times smaller, while having higher pose recognition granularity and accuracy.

연구 동기 및 목표

• 완전한 어둠과 완전한 커버링 조건에서 기존의 RGB 및 깊이 기반 방법이 실패하는 침대 안 자세 추정 문제를 해결하기 위해.
• 의료 분야에서 사용되는 고비용의 압력 매핑(PM) 시스템에 대한 저비용, 비접촉, 프라이버시 보호형 대안을 개발하기 위해.
• 다양한 커버 조건 하에서 다중모달(LWIR 및 RGB) 데이터를 포함한 대규모, 완전히 애너테이션 처리된 침대 안 자세 데이터셋(SLP)을 구축하여 훈련 및 평가를 위해 활용하기 위해.
• 신체 열과 표면 온도 분포 간의 물리적 관계를 모델링하여 열영상 기반 고정밀 자세 추정을 가능하게 하기 위해.
• 실제 도입 환경에서 최신의 PM 기반 솔루션과 비교해 성능과 비용 효율성이 뛰어나다는 것을 입증하기 위해.

제안 방법

• 침대에 덮인 상태에서 신체의 열확산 패턴을 캡처하기 위해 장파장 적외선(LWIR) 영상을 사용하는 물리학에 기반한 영상 모델인 UCITD를 제안한다.
• 신체 자세와 열 서명 간의 관계를 맺는 물리적 초매개변수 개념을 도입하여, 다양한 모odal 간 정확한 진짜 자세 레이블링을 가능하게 한다.
• 14명의 피험자와 5종류의 커버, 2개의 환경에서 동기화된 LWIR 및 RGB 데이터를 포함한 다중모달 수면 자세(SLP) 데이터셋을 수집 및 공개한다.
• 외부 데이터셋에서 미리 훈련하지 않은 채 SLP-LWIR 데이터에서 스택드 아워글라스 네트워크를 처음부터 훈련시어 고정밀 자세 추정 성능을 달성한다.
• 도메인 적응을 위해 전이 학습을 구현하고, 다른 침대, 커버, 피험자로 구성된 새로운 병원 환경에서 모델을 미세조정하여 실제 환경에서의 강인성을 평가한다.
• 자세 추정 정확도 평가를 위해 PCK0.2 지표를 사용하고, RGB 및 PM 기반 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 완전히 커버되고 완전한 어둠진 환경에서 신체가 완전히 덮여 있을 경우, 장파장 적외선 영상의 열확산 패턴을 활용해 세밀한 침대 안 인간 자세를 추론할 수 있는가?
• RQ2 열전달의 물리적 원리를 어떻게 활용하여 침대 안 자세 추정을 위한 정확한 다중모달 진짜 자세 레이블링을 생성할 수 있는가?
• RQ3 새로운 대규모 침대 안 자세 데이터셋에서 훈련된 딥 러닝 모델이 도메인 이동이 발생하는 실제 환경에 어떻게 일반화되는가?
• RQ4 제안된 물리학에 기반한 열영상 기반 방법이 정확도, 비용, 크기, 실용성 측면에서 압력 매핑 시스템과 어떻게 비교되는가?
• RQ5 비접촉, 시각 기반 시스템이 기존의 PM 기반 솔루션보다 더 높은 자세 인식 정밀도와 더 낮은 비용을 달성할 수 있는가?

주요 결과

• 제안된 UCITD 방법은 거실 환경에서 98.0%의 PCK0.2 정확도, 병원 환경에서는 96.0%의 정확도를 기록하여 다양한 환경에서 뛰어난 일반화 능력을 입증하였다.
• 14명의 피험자와 5종류의 커버를 포함한 SLP 데이터셋은 공개되었으며, 대규모 인간 자세 데이터셋 수준의 규모를 지닌다.
• SLP-LWIR 데이터에서 훈련된 모델은 병원 환경에서 사전 훈련된 RGB 모델보다 성능이 뛰어나, 제안된 데이터셋과 방법의 효과성을 입증한다.
• UCITD 시스템은 최신의 압력 매핑 시스템 대비 60배 낮은 비용과 300배 작은 크기를 확보하면서도 더 높은 자세 인식 정밀도(14개 관절 대비 8개 관절)를 달성하였다.
• 신체 접촉이나 센서가 필요 없고 신원을 특정할 수 없는 열영상 맵을 사용하므로 프라이버시 보호 및 방사선 없이도 안전하다.
• 물리적 열확산 제약 조건을 적절히 모델링할 경우, 완전한 어둠진 환경에서도 자세 추정이 가능하다는 점을 입증하였다.