[논문 리뷰] Pain Intensity Estimation from Mobile Video Using 2D and 3D Facial Keypoints

Matthew Lee, Lyndon Kennedy외 5명|arXiv (Cornell University)|2020. 06. 17.

Pediatric Pain Management Techniques참고 문헌 39인용 수 8

한 줄 요약

이 논문은 스마트폰을 통해 촬영한 2차원 및 3차원 얼굴 키포인트를 이용해 수술 후 통증 강도를 추정하는 모바일 기반 시스템을 제안한다. 연구에서는 수술 환자로부터 수집한 레이블이 부여된 얼굴 키포인트의 새로운 데이터셋을 제시하며, 노이즈가 있는 프레임 수준의 데이터를 다루기 위해 다중 예제 학습을 적용하고, 3차원 특징과 블렌드쉐이프가 2차원 키포인트를 능가함을 입증한다. 특히 3차원 특징은 시간적 클러스터링을 활용해 이진 통증 분류에서 75.0% AUC를 달성한다.

ABSTRACT

Managing post-surgical pain is critical for successful surgical outcomes. One of the challenges of pain management is accurately assessing the pain level of patients. Self-reported numeric pain ratings are limited because they are subjective, can be affected by mood, and can influence the patient's perception of pain when making comparisons. In this paper, we introduce an approach that analyzes 2D and 3D facial keypoints of post-surgical patients to estimate their pain intensity level. Our approach leverages the previously unexplored capabilities of a smartphone to capture a dense 3D representation of a person's face as input for pain intensity level estimation. Our contributions are adata collection study with post-surgical patients to collect ground-truth labeled sequences of 2D and 3D facial keypoints for developing a pain estimation algorithm, a pain estimation model that uses multiple instance learning to overcome inherent limitations in facial keypoint sequences, and the preliminary results of the pain estimation model using 2D and 3D features with comparisons of alternate approaches.

연구 동기 및 목표

• 주관적인 자가 보고에 의존하는 것을 줄이기 위해 수술 후 통증 강도를 객관적이고 비침습적으로 추정하는 방법을 개발하는 것.
• 임상 환경에서 수술 후 환자로부터 지표가 부여된 2차원 및 3차원 얼굴 키포인트의 새로운 데이터셋을 수집하는 것.
• 모바일 영상에서 유도되는 얼굴 키포인트 시퀀스의 내재된 노이즈와 변동성을 효과적으로 다룰 수 있는 통증 추정 모델을 설계하는 것.
• 2차원과 3차원 특징의 성능을 비교하고, 다중 예제 학습과 다른 모델링 접근 방식을 대비하여 평가하는 것.
• 밀도 있는 3차원 얼굴 재구성을 통해 소비자용 스마트폰을 활용한 임상 수준의 통증 평가가 가능한지 실현 가능성을 입증하는 것.

제안 방법

• 깊이 감지 기능을 갖춘 상용 스마트폰을 사용해 동기화된 2차원 RGB 영상과 밀도 높은 3차원 얼굴 메쉬 데이터를 촬영하였다.
• 3차원 메쉬에서 2차원 얼굴 키포인트(210점), 3차원 얼굴 키포인트(3660점), 블렌드쉐이프(52차원의 표현 코드)를 추출하였다.
• 다양한 정보량을 지닌 영상 프레임 시퀀스에서 통증을 모델링하기 위해 통증 추정 작업을 다중 예제 학습(MIL) 문제로 재구성하였다.
• 무작위 또는 균일한 샘플링보다 성능을 향상시키기 위해 시간적 클러스터링을 적용하여 프레임을 의미 있는 인스턴스로 그룹화하였다.
• MIL 처리 후 최종 예측을 위해 SVM, 가우시안 프로세스 및 서포트 벡터 회귀를 사용해 모델을 훈련하고 비교하였다.
• 이진 통증 분류를 위해 MIL를 적용한 수정된 DeepFaceLIFT 프레임워크를 사용하였으며, 성능 평가를 위해 AUC를 활용하였다.

실험 결과

연구 질문

• RQ1 스마트폰으로 촬영한 3차원 얼굴 데이터는 2차원 영상만을 사용하는 것과 비교해 통증 강도 추정 성능을 향상시킬 수 있는가?
• RQ2 다중 예제 학습은 노이즈가 많고 품질이 변동성이 큰 얼굴 키포인트 시퀀스에서 통증 강도를 효과적으로 모델링할 수 있는가?
• RQ3 2차원 키포인트, 3차원 키포인트, 블렌드쉐이프 등의 다양한 특징 표현 방식은 통증 추정 성능에서 어떻게 비교되는가?
• RQ4 프레임의 시간적 클러스터링은 MIL 기반의 통증 추정 모델 성능을 향상시키는가?
• RQ5 스마트폰 기반 시스템이 비침습적이고 비침습적인 얼굴 분석을 통해 이진 통증 수준을 임상적으로 유용한 정확도로 추정할 수 있는가?

주요 결과

• 3차원 얼굴 키포인트는 모든 평가 과제에서 2차원 키포인트를 일관되게 능가하였으며, 시간적 클러스터링을 적용한 MIL에서 이진 통증 분류 시 75.0% AUC를 기록하였다.
• 낮은 차원성(52D)에도 불구하고 블렌드쉐이프 특징 표현 방식이 2차원 및 3차원 키포인트를 모두 능가하였으며, MIL-클러스터 설정에서 82.6% AUC를 달성하였다.
• 시간적 클러스터링을 적용한 다중 예제 학습은 무작위 또는 균일한 샘플링보다 성능을 크게 향상시켜, 프레임 수준의 변동성을 더 효과적으로 다루는 것으로 나타났다.
• 시간적 클러스터링을 적용한 MIL 접근 방식은 3차원 키포인트에서 최고의 AUC(75.0%)를 기록하였으며, SVM를 사용한 기준 모델인 DeepFaceLIFT(2차원 키포인트 기준 71.0% AUC)를 능가하였다.
• 본 연구는 소비자용 스마트폰에서 확보한 3차원 얼굴 데이터가 통증 추정에 의미 있고 구분 가능한 특징을 제공할 수 있음을 입증하였으며, 임상 적용 가능성이 있다.
• 본 연구에서 제안한 수술 후 환자로부터 수집한 지표가 부여된 얼굴 키포인트 데이터셋은 향후 자동 통증 평가 분야의 연구를 위한 유의미한 기준 자료가 된다.