[논문 리뷰] Automated facial recognition system using deep learning for pain assessment in adults with cerebral palsy

Álvaro Sabater-Gárriz, F. Xavier Gaya-Morey외 4명|arXiv (Cornell University)|2024. 01. 22.

Cerebral Palsy and Movement DisordersMedicine인용 수 3

한 줄 요약

이 연구는 뇌성마비를 앓는 성인에서 통증 평가를 위한 딥러닝 기반 자동 얼굴 인식 시스템을 제안하며, 얼굴 운동 코드 시스템(Facial Action Coding System)을 통해 레이블링된 새로 구축한 데이터셋(CPPAIN)을 사용한다. InceptionV3은 CPPAIN 데이터셋에서 62.67%의 정확도와 61.12%의 F1 스코어를 기록하여 의사소통 및 얼굴 표정 장애가 있는 인구에서 통증을 탐지하는 데의 가능성을 입증한다.

ABSTRACT

Background: Pain assessment in individuals with neurological conditions, especially those with limited self-report ability and altered facial expressions, presents challenges. Existing measures, relying on direct observation by caregivers, lack sensitivity and specificity. In cerebral palsy, pain is a common comorbidity and a reliable evaluation protocol is crucial. Thus, having an automatic system that recognizes facial expressions could be of enormous help when diagnosing pain in this type of patient. Objectives: 1) to build a dataset of facial pain expressions in individuals with cerebral palsy, and 2) to develop an automated facial recognition system based on deep learning for pain assessment addressed to this population. Methods: Ten neural networks were trained on three pain image databases, including the UNBC-McMaster Shoulder Pain Expression Archive Database, the Multimodal Intensity Pain Dataset, and the Delaware Pain Database. Additionally, a curated dataset (CPPAIN) was created, consisting of 109 preprocessed facial pain expression images from individuals with cerebral palsy, categorized by two physiotherapists using the Facial Action Coding System observational scale. Results: InceptionV3 exhibited promising performance on the CP-PAIN dataset, achieving an accuracy of 62.67% and an F1 score of 61.12%. Explainable artificial intelligence techniques revealed consistent essential features for pain identification across models. Conclusion: This study demonstrates the potential of deep learning models for robust pain detection in populations with neurological conditions and communication disabilities. The creation of a larger dataset specific to cerebral palsy would further enhance model accuracy, offering a valuable tool for discerning subtle and idiosyncratic pain expressions. The insights gained could extend to other complex neurological conditions.

연구 동기 및 목표

• 뇌성마비를 앓는 성인에서 의사소통 및 운동 장애로 인해 자가 보고가 어려운 환자들에서 신뢰할 수 있는 통증 평가의 과제를 해결하기 위해.
• 임상 환경에서 민감도와 특이도가 부족한 현재의 관찰 기반 통증 척도의 한계를 극복하기 위해.
• 자동화된 시스템을 훈련하고 평가하기 위해 뇌성마비 환자에서의 얼굴 통증 표현을 전용으로 구축한 데이터셋을 만들기 위해.
• 이 뇌신경 장애가 있는 인구에서 통증을 탐지하기 위해 특화된 딥러닝 기반 얼굴 인식 모델을 개발하고 평가하기 위해.
• 일관된 얼굴 특징을 통증과 연관지워 식별하기 위해 설명 가능한 AI 기법을 탐색하기 위해.

제안 방법

• 뇌성마비를 앓는 성인의 109장의 전처리된 얼굴 이미지로 구성된 새로운 데이터셋(CPPAIN)을 수집하고 정제하였다.
• 신뢰성 확보를 위해 두 명의 훈련된 물리치료사가 얼굴 표정을 얼굴 운동 코드 시스템(FACS)을 사용해 레이블링하였다.
• 공개된 통증 데이터베이스 3종(UNBC-McMaster, Multimodal Intensity Pain Dataset, Delaware Pain Database)에서 10개의 딥 네트워크를 훈련시켰다.
• 이식 학습을 활용해 대상 인구에 적합하도록 전이된 InceptionV3 아키텍처를 CPPAIN 데이터셋에서 통증 분류를 위해 미세조정하였다.
• 모델 예측을 해석하고 통증 탐지에 중요한 얼굴 영역을 식별하기 위해 설명 가능한 AI 기법(예: Grad-CAM)을 적용하였다.
• CPPAIN 테스트 세트에서 표준 지표인 정확도, F1 스코어, 클래스별 정밀도/재현율을 사용해 모델 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 새로운 CP 전용 얼굴 통증 데이터셋에서 훈련된 딥러닝 모델이 뇌성마비 성인에서 신뢰할 수 있는 통증 분류를 달성할 수 있는가?
• RQ2 CPPAIN 데이터셋에서 통증 표현 인식에 있어 어떤 딥러닝 아키텍처가 가장 우수한 성능을 보이는가?
• RQ3 설명 가능한 AI 방법이 다양한 모델 간에 통증을 나타내는 데 일관되게 식별하는 얼굴 특징는 무엇인가?
• RQ4 일반 통증 데이터셋에서 훈련된 모델의 성능이 뇌성마비의 특수한 맥락으로의 전이에 어떻게 영향을 미치는가?
• RQ5 자동화된 시스템이 직접 관찰 방법에 비해 통증 평가의 민감도와 특이도를 얼마나 향상시킬 수 있는가?

주요 결과

• InceptionV3가 CPPAIN 데이터셋에서 가장 높은 성능을 보이며 62.67%의 정확도와 61.12%의 F1 스코어를 기록하여 다른 테스트된 모델들을 능가하였다.
• 설명 가능한 AI 기법은 눈, 눈썹, 입 부위에서 일관된 활성화 패턴을 드러내어 이 영역들이 통증 탐지에 핵심적임을 시사하였다.
• 모델은 뇌성마비 환자에서 흔한 미세하고 특이적인 통증 표현을 식별하는 데 있어 뛰어난 강건성을 보였다.
• 이 연구는 신경학적 장애와 의사소통 장애가 있는 인구에서 딥러닝을 활용한 자동 통증 평가의 가능성을 확인하였다.
• 임상 적용에서 모델의 정확도와 일반화 능력을 향상시키기 위해 전용의 고품질 데이터셋(CPPAIN) 구축이 필수적임을 입증하였다.
• 더 큰, 더 다양한 뇌성마비 전용 데이터셋이 제공될 경우 더 정교한 통증 표현을 탐지할 수 있는 향상된 성능이 기대된다.