[논문 리뷰] Automated Pain Detection from Facial Expressions using FACS: A Review

Zhanli Chen, Rashid Ansari외 1명|arXiv (Cornell University)|2018. 11. 13.

Emotion and Mood Recognition참고 문헌 81인용 수 23

한 줄 요약

이 논문은 얼굴 표정을 이용한 자동 통증 감지에 대해 Facial Action Coding System (FACS)를 활용하여 검토하며, 특히 딥 러닝 기법을 포함한 자동 얼굴 표정 인식(AFER) 프레임워크의 임상적 통증 평가 적용을 강조한다. 통증 데이터가 제한되어 있는 등의 주요 과제를 밝히고, 정확하고 실시간으로 비언어적 환자에서 통증을 모니터링하기 위해 AFER 시스템을 다중 레이블, 약한 지도 학습 기반의 AU 감지로 확장할 것을 제안한다.

ABSTRACT

Facial pain expression is an important modality for assessing pain, especially when the patient's verbal ability to communicate is impaired. The facial muscle-based action units (AUs), which are defined by the Facial Action Coding System (FACS), have been widely studied and are highly reliable as a method for detecting facial expressions (FE) including valid detection of pain. Unfortunately, FACS coding by humans is a very time-consuming task that makes its clinical use prohibitive. Significant progress on automated facial expression recognition (AFER) has led to its numerous successful applications in FACS-based affective computing problems. However, only a handful of studies have been reported on automated pain detection (APD), and its application in clinical settings is still far from a reality. In this paper, we review the progress in research that has contributed to automated pain detection, with focus on 1) the framework-level similarity between spontaneous AFER and APD problems; 2) the evolution of system design including the recent development of deep learning methods; 3) the strategies and considerations in developing a FACS-based pain detection framework from existing research; and 4) introduction of the most relevant databases that are available for AFER and APD studies. We attempt to present key considerations in extending a general AFER framework to an APD framework in clinical settings. In addition, the performance metrics are also highlighted in evaluating an AFER or an APD system.

연구 동기 및 목표

• 자동 얼굴 표정 인식(AFER)과 자동 통증 감지(APD) 간의 프레임워크 수준 유사성을 분석하여 이분야 간 기법 이식을 가능하게 하기.
• APD의 시스템 설계 발전 과정을 검토하며, 특히 전통적 기계 학습에서 딥 러닝으로의 전환을 통해 종단 간 특징 학습 및 다중 레이블 AU 감지의 가능성을 분석하기.
• FACS 기반 APD 시스템 개발을 위한 핵심 설계 고려사항을 특정하기—특징 추출, 시간적 모델링, 모델 해석 가능성 포함.
• AFER 및 APD 연구에 관련된 기존 공개 데이터베이스를 식별하며, UNBC-McMaster 어깨 통증 표정 아카이브를 주요 자원으로 강조하기.
• 현재 APD 모델과 실제 임상적 필요 간 격차를 메우기 위해 더 큰 규모의 임상적으로 검증된 통증 레이블이 부여된 얼굴 표정 데이터셋 구축을 촉구하기.

제안 방법

• 11개의 핵심 통증 관련 행동 단위(AU): AU4, AU6/7, AU9/10, AU12, AU20, AU25, AU26, AU27, AU43을 중심으로, 수작업 및 딥 뉴럴 네트워크(DNN) 특징을 사용하는 AFER 프레임워크를 APD에 적응시키기.
• 통증은 다중 AU의 동시 발생에서 유추되며, 자가 보고를 프레임 단위의 진실값으로 사용하는 약한 지도 학습 기반의 다중 레이블 AU 감지 접근법을 적용하기.
• 기존 특징 추출 방식을 대체하기 위해 딥 러닝 모델(DNNs)을 활용하여 원시 이미지에서 종단 간 학습을 가능하게 하고, 복잡한 근육 운동을 더 잘 모델링하기.
• 데이터 부족 문제를 완화하기 위해 사전 학습된 DNNs를 제한된 통증 데이터셋에 맞추어 미세 조정함으로써, 초기 학습 없이 성능 향상을 달성하기.
• 입력 영역 중 AU 예측에 가장 영향을 미치는 부분을 시각화함으로써 DNN 결정의 해석 가능성을 높이기 위해 선명도 맵(Saliency maps)을 활용하기.
• 시간적 모델링(예: 동적 방법)을 적용하여 프레임 단위 AU 예측을 부드럽게 하고 시간에 따른 AU 이벤트를 국소화함으로써 노이즈에 대한 강건성을 향상시키기.

실험 결과

연구 질문

• RQ1 AFER와 APD의 구조적 및 기능적 프레임워크는 어떻게 유사하고, AFER 기법이 통증 감지에 얼마나 잘 적응될 수 있는가?
• RQ2 실제 의료 현장에서 일반 AFER에서 전문화된 APD 시스템으로의 전환 과정에서 발생하는 주요 기술적 및 임상적 과제는 무엇인가?
• RQ3 딥 러닝 아키텍처는 기존 기계 학습 방법에 비해 FACS 기반 시스템에서 통증 감지 정확도와 강건성을 어떻게 향상시키는가?
• RQ4 공개된 데이터베이스—특히 UNBC-McMaster 데이터베이스—는 APD 연구 발전에 어떤 역할을 하는가? 그리고 그 한계는 무엇인가?
• RQ5 약한 지도 학습 기반의 다중 레이블 AU 감지는 임상적 통증 강도를 더 잘 반영하고 시스템 신뢰성을 향상시키기 위해 어떻게 최적화될 수 있는가?

주요 결과

• Prkachin과 Solomon 통증 강도(PSPI) 지표는 FACS를 사용한 통증 강도 정량화에 널리 사용되고 검증된 방법으로, 통증 = AU4 + max(AU6,AU7) + max(AU9,AU10) + AU43로 정의된다.
• 연구 간 일관되게 통증과 연관된 11개의 핵심 AU는 브로우 저하(AU4), 볼 들기/눈꺼풀 조임(AU6/7), 코 주름지기 및 상우편 올리기(AU9/10), 눈 감기(AU43)를 포함하며, 추가로 AU12, AU20, AU25, AU26, AU27도 통증과 관련이 있다.
• AFER 분야의 진전에도 불구하고, APD에 집중한 연구는 소수에 불과하며, 대부분의 APD 모델는 통증 레이블이 부여된 데이터의 가용성 부족으로 인해 초기 개발 단계에 머물러 있다.
• UNBC-McMaster 어깨 통증 표정 아카이브는 APD 연구를 위한 유일한 공개 가능 데이터셋으로 남아 있어, 급성 어깨 통증에 국한된 연구를 제한하고 일반화 가능성에 제약을 둔다.
• 딥 러닝 모델은 전통적 방법에 비해 AU 감지에서 뛰어난 성능을 보이며, 데이터 부족 문제를 해결하기 위해 전이 학습과 조합할 경우 더욱 향상된다.
• 선명도 맵는 DNN 기반 APD 시스템의 해석 가능성을 높여 통증 관련 AU 감지에 가장 관련성이 높은 얼굴 영역을 시각화함으로써 임상적 신뢰도 향상과 검증에 기여한다.