[논문 리뷰] Summarization of ICU Patient Motion from Multimodal Multiview Videos

Carlos Torres, Kenneth Rose외 2명|arXiv (Cornell University)|2017. 06. 28.

Human Pose and Action Recognition참고 문헌 17인용 수 4

한 줄 요약

이 논문은 세 대의 RGB-D 카메라를 사용하여 중환자실(ICU) 환자의 움직임을 자율적으로 모니터링하고 요약하는 다중모달 다중시점 딥 러닝 시스템인 DECU를 제안한다. 딥 특징과 수정된 숨겨진 반-마르코프 모델을 결합함으로써, DECU는 명확한 조건에서 85%의 자세 이력 요약 정확도와 어두운/막힘 있는 환경에서 76%의 정확도를 달성하며, 关键 프레임 기반의 운동 압축을 통해 78%의 전이 분류 정확도를 확보한다.

ABSTRACT

Clinical observations indicate that during critical care at the hospitals, patients sleep positioning and motion affect recovery. Unfortunately, there is no formal medical protocol to record, quantify, and analyze patient motion. There is a small number of clinical studies, which use manual analysis of sleep poses and motion recordings to support medical benefits of patient positioning and motion monitoring. Manual processes are not scalable, are prone to human errors, and strain an already taxed healthcare workforce. This study introduces DECU (Deep Eye-CU): an autonomous mulitmodal multiview system, which addresses these issues by autonomously monitoring healthcare environments and enabling the recording and analysis of patient sleep poses and motion. DECU uses three RGB-D cameras to monitor patient motion in a medical Intensive Care Unit (ICU). The algorithms in DECU estimate pose direction at different temporal resolutions and use keyframes to efficiently represent pose transition dynamics. DECU combines deep features computed from the data with a modified version of Hidden Markov Model to more flexibly model sleep pose duration, analyze pose patterns, and summarize patient motion. Extensive experimental results are presented. The performance of DECU is evaluated in ideal (BC: Bright and Clear/occlusion-free) and natural (DO: Dark and Occluded) scenarios at two motion resolutions in a mock-up and a real ICU. The results indicate that deep features allow DECU to match the classification performance of engineered features in BC scenes and increase the accuracy by up to 8% in DO scenes. In addition, the overall pose history summarization tracing accuracy shows an average detection rate of 85% in BC and of 76% in DO scenes. The proposed keyframe estimation algorithm allows DECU to reach an average 78% transition classification accuracy.

연구 동기 및 목표

• ICU 환자의 움직임과 자세를 모니터링하고 정량화하기 위한 확장 가능한 자동화 시스템의 부족을 해결하기 위해.
• 실제 중환자실 환경에서 장기간에 걸쳐 환자의 자세 역학을 비침습적이고 자율적으로 분석할 수 있는 시스템을 개발하기 위해.
• 기존 방법이 실패하는 저조도 및 부분적 가림 조건과 같은 도전적인 조건에서 운동 요약 정확도를 향상시키기 위해.
• 운동 패턴 분석을 통해 골절 위험 조기 탐지, 압박성 궤양 예방, 수면 품질 평가 등의 임상 적용을 가능하게 하기 위해.
• 자세 지속 시간과 전이 역학을 위한 민첩한 모델링을 위해 딥 특징과 숨겨진 반-마르코프 모델을 통합하기 위해.

제안 방법

• DECU는 모의 및 실제 ICU 환경에서 ICU 환자로부터 다중모달 다중시점 영상 데이터를 확보하기 위해 세 대의 RGB-D 카메라를 사용한다.
• RGB 및 깊이 스트림에서 딥 특징을 추출하기 위해 합성곱 신경망을 적용하여 조명 및 가림에 대한 강건성을 향상시킨다.
• 운동 시퀀스를 대표하는 프레임을 식별함으로써 운동 시퀀스를 요약하는 키 프레임 추정 알고리즘을 적용한다.
• 자세 지속 시간과 전이 역학을 모델링하기 위해 수정된 숨겨진 반-마르코프 모델(HSMM)을 사용하며, 시각적 및 깊이 데이터를 융합한 다중모달 방출 확률을 적용한다.
• 훈련 중에 밀도 기반 광학 흐름에서 유도된 운동 임계값을 사용하여 운동 유형을 구분하고 깊이 센서 노이즈를 완화한다.
• 시스템은 둔탁한 자세 이력 요약과 세밀한 전이 탐지에 적합한 두 가지 시간 해상도를 지원하여 다중 척도 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 수동 특징 대비 딥 특징이 저조도 및 가림 조건의 ICU 환경에서 운동 인식 정확도를 향상시키는가?
• RQ2 실제 ICU 조건에서 장기간 환자 자세 시퀀스를 요약하는 데에 자율 시스템이 얼마나 정확한가?
• RQ3 낮은 조도 및 가림 조건에서 다중모달 다중시점 융합이 자세 전이 탐지에 얼마나 기여하는가?
• RQ4 키 프레임 기반의 압축이 복잡한 운동 역학을 효과적으로 표현하면서도 임상적 관련성을 유지하는가?
• RQ5 기본 HMM 대비 수정된 HSMM 모델이 환자 운동 분석에서 자세 지속 시간 추정에 얼마나 향상되는가?

주요 결과

• DECU는 밝고 명확한(Bright and Clear, BC) 환경에서 평균 85%의 검출률을 기록했고, 어두운 및 가림된(Dark and Occluded, DO) 환경에서는 76%의 정확도를 확보했다.
• DO 환경에서 딥 특징은 수동 특징 대비 최대 8%의 정확도 향상을 보이며, 낮은 시야 확보 조건에서도 강건함을 입증했다.
• 키 프레임 기반 전이 분류는 평균 78%의 정확도를 기록하여 센서의 제약에도 불구하고 운동 역학을 효과적으로 포착했다.
• 환자가 카메라를 등지고 있을 경우(예: 뒷면을 햖을 때), 특히 단일 시점 설정에서 시각적 단서가 감소하여 성능이 저하된다.
• 다중 시점 융합은 낮은 조도 및 가림 조건에서 단일 시점 설정 대비 항상 더 높은 정확도를 확보했으며, 특히 도전적인 조건에서 유의미한 향상을 보였다.
• 시스템은 조도 변화, 부분적 가림, 시점 변화에 강건하여 실제 ICU 환경에의 구현에 적합하다.