[논문 리뷰] Simultaneously-Collected Multimodal Lying Pose Dataset: Towards In-Bed Human Pose Monitoring under Adverse Vision Conditions

Shuangjun Liu, Xiaofei Huang외 4명|arXiv (Cornell University)|2020. 08. 20.

Human Pose and Action Recognition참고 문헌 55인용 수 16

한 줄 요약

이 논문은 RGB, 장파장적외선, 깊이, 압력 맵 모odal리티를 포함하는 다중모달, 대규모 공개형 침대 내 인간 자세 데이터셋인 Simultaneously-collected Multimodal Lying Pose (SLP) 데이터셋을 소개한다. 최신 기술 기반 모델을 사용하여 악조건인 완전한 어둠이나 가림막에 의한 가림에도 최대 95%의 PCKh@0.5 정확도를 달성하는 견고한 2차원 자세 추정을 가능하게 하며, 성능 향상을 위한 다중모달 융합도 지원한다.

ABSTRACT

Computer vision (CV) has achieved great success in interpreting semantic meanings from images, yet CV algorithms can be brittle for tasks with adverse vision conditions and the ones suffering from data/label pair limitation. One of this tasks is in-bed human pose estimation, which has significant values in many healthcare applications. In-bed pose monitoring in natural settings could involve complete darkness or full occlusion. Furthermore, the lack of publicly available in-bed pose datasets hinders the use of many successful pose estimation algorithms for this task. In this paper, we introduce our Simultaneously-collected multimodal Lying Pose (SLP) dataset, which includes in-bed pose images from 109 participants captured using multiple imaging modalities including RGB, long wave infrared, depth, and pressure map. We also present a physical hyper parameter tuning strategy for ground truth pose label generation under extreme conditions such as lights off and being fully covered by a sheet/blanket. SLP design is compatible with the mainstream human pose datasets, therefore, the state-of-the-art 2D pose estimation models can be trained effectively with SLP data with promising performance as high as 95% at PCKh@0.5 on a single modality. The pose estimation performance can be further improved by including additional modalities through collaboration.

연구 동기 및 목표

• 컴퓨터 시각 및 헬스케어 적용 분야에서 공개 가능하고 대규모인 침대 내 인간 자세 데이터셋의 부족을 해소하기 위해.
• 완전한 어둠이나 침대 시트나 담요에 의해 완전히 가려진 상태에서도 정확한 인간 자세 추정을 가능하게 하기 위해.
• 극한의 영상 조건에서도 신뢰할 수 있는 참값 자세 레이블을 생성하기 위해 물리적 하이퍼파rameter 튜닝(PHPT) 전략을 개발하기 위해.
• 주류의 자세 추정 벤치마크와 호환되는 다중모달 데이터셋을 구축하여 최신 기술 기반 모델의 훈련 및 평가를 용이하게 하기 위해.
• 향후 침대 내 행동 모니터링 분야에서의 다중모달 융합, 도메인 적응, 전이 학습 연구를 위한 기반을 마련하기 위해.

제안 방법

• RGB, 장파장적외선(LWIR), 깊이(D), 압력 맵(PM) 4가지 모달리티를 동시에 사용하여 109명의 참가자로부터 동기화된 침대 내 자세 데이터를 수집한다.
• 참가자가 완전히 덮여 있거나 완전히 어두운 환경에서도 정확한 참값 자세 레이블을 생성하기 위해 물리적 하이퍼파rameter 튜닝(PHPT) 방법을 구현한다.
• 기존의 2차원 자세 추정 모델이 직접 훈련 및 평가가 가능하도록 표준 인간 자세 추정 벤치마크(COCO, MPII 등)와 호환되는 SLP 데이터셋을 설계한다.
• 다양한 모달리티를 융합하여 환자의 자세와 신체 상태에 대한 직관적이고 임상적인 통찰을 제공하는 새로운 LWIR-D-PM 시각화 도구를 개발한다.
• SLP 데이터에 대해 최신 기술 기반의 2차원 및 3차원 자세 추정 모델을 다양한 모달리티, 커버 조건, 환경(가정 vs. 병원)에서 평가한다.
• 다중모달 융합의 성능 향상 정도를 평가하고, 침대 내 조건에서의 3차원 자세 추정의 실패 원인을 분석하기 위해 분석 실험을 수행한다.

실험 결과

연구 질문

• RQ1 RGB, LWIR, 깊이, 압력 맵 모달리티를 동시에 수집한 대규모 다중모달 침대 내 자세 데이터셋을 악조건의 시각 환경에서도 구축할 수 있는가?
• RQ2 SLP 데이터셋을 기반으로 훈련된 최신 기술 기반 2차원 인간 자세 추정 모델이 완전한 어둠이나 가림막에 의한 가림과 같은 극한 조건에서도 얼마나 효과적인가?
• RQ3 단일 모달리티 기반 기준 모델 대비 다중모달 융합이 침대 내 자세 추정 정확도 향상에 얼마나 기여하는가?
• RQ4 미리 훈련된 3차원 자세 추정 모델이 침대 내 자세에 일반화될 수 있는가? 이러한 환경에서의 주요 실패 원인은 무엇인가?
• RQ5 기존의 표준 인간 자세 데이터셋과 비교했을 때 침대 내 자세의 분포는 어떻게 다른가? 이는 모델 일반화에 어떤 영향을 미치는가?

주요 결과

• SLP 데이터셋은 다양한 조명 및 가림 조건에서 109명의 참가자로부터 수집된 15,000장 이상의 레이블이 부여된 침대 내 자세 이미지를 포함하고 있다.
• 최신 기술 기반의 2차원 자세 추정 모델은 단일 모달리티에서 훈련된 경우 SLP 데이터셋에서 최대 95%의 PCKh@0.5 정확도를 달성하여 악조건의 시각 환경에서도 뛰어난 성능을 보였다.
• 물리적 하이퍼파rameter 튜닝(PHPT) 전략은 완전한 어둠이나 시트로 완전히 가려진 상태와 같은 극한 조건에서도 신뢰할 수 있는 참값 자세 레이블 생성을 가능하게 하였다.
• 다중모달 융합은 항상 자세 추정 성능 향상을 이끌었으며, LWIR, 깊이, 압력 맵 데이터를 융합했을 때 뚜렷한 성능 향상이 관찰되었다.
• RGB 또는 깊이 기반의 미리 훈련된 3차원 자세 추정 모델은 침대 내 자세에 잘 일반화되지 않아, 몸통 표면의 융합과 배경 혼동으로 인해 휴식 자세를 서있는 자세로 잘못 해석하거나 사지의 위치를 잘못 판단하는 경향이 있었다.
• SLP 데이터셋은 COCO 및 MPII와 같은 기존의 자세 데이터셋과 상호보완적이며, 침대 내 자세는 일반적인 일상 활동 데이터셋에는 존재하지 않는 독특한 조명, 가림, 자세 분포 특성을 보였다.