[논문 리뷰] DeepFaceLIFT: Interpretable Personalized Models for Automatic Estimation of Self-Reported Pain

Dianbo Liu, Fengjiao Peng외 4명|arXiv (Cornell University)|2017. 08. 09.

Machine Learning in Healthcare참고 문헌 29인용 수 30

한 줄 요약

DeepFaceLIFT는 수작업으로 구성한 개인 특징과 다중 작업 학습을 사용하여 얼굴 표정에서 자가 보고한 시각적 아픔 척도(VAS) 통증 점수를 추정하는 이단계, 해석 가능한 개인 맞춤형 모델을 제안한다. 신경망과 가우시안 프로세스 회귀를 조합함으로써 35%의 군내 상관계수(ICC)를 달성하였으며, 이는 기준 모델의 19%보다 높다. 동시에 DeepLIFT 및 RBF-ARD 커널 분석을 통해 특징 수준의 해석 가능성을 제공한다.

ABSTRACT

Previous research on automatic pain estimation from facial expressions has focused primarily on "one-size-fits-all" metrics (such as PSPI). In this work, we focus on directly estimating each individual's self-reported visual-analog scale (VAS) pain metric, as this is considered the gold standard for pain measurement. The VAS pain score is highly subjective and context-dependent, and its range can vary significantly among different persons. To tackle these issues, we propose a novel two-stage personalized model, named DeepFaceLIFT, for automatic estimation of VAS. This model is based on (1) Neural Network and (2) Gaussian process regression models, and is used to personalize the estimation of self-reported pain via a set of hand-crafted personal features and multi-task learning. We show on the benchmark dataset for pain analysis (The UNBC-McMaster Shoulder Pain Expression Archive) that the proposed personalized model largely outperforms the traditional, unpersonalized models: the intra-class correlation improves from a baseline performance of 19\% to a personalized performance of 35\% while also providing confidence in the model extquotesingle s estimates -- in contrast to existing models for the target task. Additionally, DeepFaceLIFT automatically discovers the pain-relevant facial regions for each person, allowing for an easy interpretation of the pain-related facial cues.

연구 동기 및 목표

• 자기 보고 통증의 주관적이고 맥락에 따라 달라지는 성격을 반영하지 못하는 일률적인 통증 지표(예: PSPI)의 한계를 해결하기 위해.
• 자신의 보고한 VAS 점수를 직접 모델링하여 자동 통증 추정을 향상시키기 위해.
• 입력 얼굴 특징 및 개인 특성과 출력 통증 추정치 사이의 연결을 통해 모델의 해석 가능성을 보장하기 위해.
• 개인 특징(예: 연령, 성별)과 관찰자 통증 평가(OPI)가 VAS 추정 성능에 어떻게 기여하는지 탐색하기 위해.
• 모델 아키텍처의 변경이 아닌 특징 수준에서 개인 맞춤화를 수행하는 계층적 학습 프레임워크를 개발하기 위해.

제안 방법

• 이중 단계 모델: 첫 번째 단계에서 완전 연결 신경망이 활성 어파라전스 모델(AAM)의 얼굴 랜드마크 좌표를 처리하여 프레임 수준의 VAS 점수를 추정한다.
• 두 번째 단계에서 프레임 수준 추정치의 통계치(합계, 평균, 사분위율 범위)를 계산하고, 이를 가우시안 프로세스(GP) 회귀 모델에 입력하여 시퀀스 수준의 VAS 예측을 수행한다.
• 개인 특징(연령, 성별 등)은 신경망의 중간층에 임bedding되어 특징 수준의 개인 맞춤화를 가능하게 한다.
• DeepLIFT를 사용하여 신경망 내 특징의 중요도를 계산함으로써, 각 개인의 통증 추정에 가장 기여하는 얼굴 랜드마크를 해석할 수 있다.
• GP 모델은 RBF-ARD 커널을 사용하여 어떤 통계 특징(예: 평균, IQR)이 최종 VAS 점수에 가장 크게 기여하는지 식별한다.
• VAS 및 OPI(관찰자 통증 강도) 점수를 동시에 학습하여 일반화 및 강인성을 향상시키기 위해 다중 작업 학습을 적용한다.

실험 결과

연구 질문

• RQ1 개인 맞춤형, 해석 가능한 모델이 기존의 비개인화된 모델보다 자가 보고 VAS 통증 점수 추정에서 뛰어난 성능을 보일 수 있는가?
• RQ2 개인별 특징(예: 연령, 성별)이 자동 VAS 점수 추정 정확도에 어떤 영향을 미치는가?
• RQ3 프레임 수준 추정치의 어떤 얼굴 부위와 통계 특징이 시퀀스 수준 VAS 점수를 가장 잘 예측하는가?
• RQ4 관찰자 통증 평가(OPI)를 통합할 경우 자가 보고 VAS 점수 추정 성능이 얼마나 향상되는가?
• RQ5 딥 러닝 모델에서 특징 수준의 해석 가능성을 달성할 수 있으며, 이를 통해 개인 간 통증 표현의 차이에 대한 통찰을 얻을 수 있는가?

주요 결과

• 제안된 DeepFaceLIFT 모델은 군내 상관계수(ICC)가 35%를 기록하여, 기준 비개인화 모델의 19%보다 뚜렷한 향상이 이루어졌다.
• 프레임 수준 VAS 추정치의 합(Σ(P)), 평균(μ(P)), 사분위율 범위(IQR(P))가 시퀀스 수준 예측에 가장 중요한 통계 특징이다.
• 연령, 성별 등의 개인 특징을 제거할 경우 평균 절대 오차(MAE)가 증가하여, 개인 맞춤화에서 이러한 특징들이 예측에 기여한다는 점을 확인하였다.
• 모델는 개인별로 다른 얼굴 부위가 통증 추정에 가장 관련성이 있다고 식별하였으며, 기여도가 개인 간에 크게 다름을 보였다.
• 신경망의 중간층에 개인 특징을 임베딩하는 것이 최적의 성능을 낳았으며, 초기 또는 후기 융합보다 뛰어난 성능을 보였다.
• GP 모델의 RBF-ARD 커널 분석 결과, 영상 시퀀스 길이가 VAS 점수와 관련이 있으며, Σ(P)와 μ(P)의 기여도가 높게 나타났다.