[논문 리뷰] Regularizing Face Verification Nets For Pain Intensity Regression

Xiang Xiang, Feng Wang외 7명|arXiv (Cornell University)|2017. 01. 01.

Emotion and Mood Recognition참고 문헌 13인용 수 15

한 줄 요약

이 논문은 부드러운 ℓ1 손실과 중심 손실 정규화를 사용하여 사전 훈련된 얼굴 인식 네트워크를 통합하여 통증 강도 회귀를 위한 정규화된 딥 리그레서를 제안한다. 대규모 얼굴 인식 데이터에서 유용한 특징을 활용하고 가중치 기반 평가 지표를 통해 레이블 불균형 문제를 해결함으로써, UNBC-McMaster 어깨통증 데이터셋에서 기존 방법들을 능가하는 최신 기술 성능을 달성하였다. MAE, MSE, PCC 모두에서 개선되었으며, 임상적 통증 분포를 더 잘 반영하는 가중 평가 지표를 사용하였다.

ABSTRACT

Limited labeled data are available for the research of estimating facial expression intensities. For instance, the ability to train deep networks for automated pain assessment is limited by small datasets with labels of patient-reported pain intensities. Fortunately, fine-tuning from a data-extensive pre-trained domain, such as face verification, can alleviate this problem. In this paper, we propose a network that fine-tunes a state-of-the-art face verification network using a regularized regression loss and additional data with expression labels. In this way, the expression intensity regression task can benefit from the rich feature representations trained on a huge amount of data for face verification. The proposed regularized deep regressor is applied to estimate the pain expression intensity and verified on the widely-used UNBC-McMaster Shoulder-Pain dataset, achieving the state-of-the-art performance. A weighted evaluation metric is also proposed to address the imbalance issue of different pain intensities.

연구 동기 및 목표

• 얼굴 표정 분석에서 통증 강도 회귀에 대한 레이블이 부족한 문제를 해결한다.
• 저자원 통증 강도 회귀에 적합한 사전 훈련된 얼굴 인식 네트워크를 활용하여 풍부한 특징 표현을 전이한다.
• 대부분의 프레임에서 통증이 없거나 낮은 경우가 많은 통증 강도 데이터의 레이블 불균형 문제를 완화한다.
• 손실 정규화를 통해 이산적이고 의미 있는 강도 예측을 유도함으로써 회귀 성능을 향상시킨다.
• 임상 데이터에서 자연스러운 통증 강도 분포를 더 잘 반영하는 가중 평가 지표를 제안한다.

제안 방법

• UNBC-McMaster 데이터셋에서 부드러운 ℓ1 손실을 사용하여 연속적 회귀를 위한 최신 기술 얼굴 인식 네트워크(카시아-웹페이스에서 유래)를 정밀 조정한다.
• 예측된 통증 강도가 이산 값(0–5) 주변에 집중되도록 중심 손실을 정규화 기법으로 도입함으로써 일반화 성능을 향상시킨다.
• 작은 데이터셋에서 과적합을 방지하기 위해 버티브 풀 컨넥티드 레이어에 드롭아웃 정규화를 적용한다.
• 출력 예측을 [0,5] 통증 강도 범위로 제한하기 위해 시그모이드 활성화 함수를 사용한다.
• 통증 강도 분포에서 클래스 불균형 문제를 해결하기 위해 훈련 중에 균일한 클래스 샘플링을 구현한다.
• 낮은 빈도로 나타나는 통증 수준에 더 높은 중요도를 할당하는 가중 평가 지표(wMAE, wMSE)를 제안한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 얼굴 인식 네트워크를 정밀 조정하면 저자원 통증 강도 회귀 성능을 향상시킬 수 있는가?
• RQ2 중심 손실 정규화는 예측된 통증 강도가 이산 값 주변에 어떻게 집중되는가에 영향을 미치는가?
• RQ3 표준 지표와 비교해 볼 때, 가중 평가 지표가 임상적 관련성과 더 잘 반영되는가?
• RQ4 부드러운 ℓ1 손실과 중심 손실을 조합하면 기준 손실보다 회귀 성능을 얼마나 향상시킬 수 있는가?
• RQ5 훈련 중 균일한 클래스 샘플링이 불균형한 통증 강도 분포의 영향을 완화하는 데 얼마나 기여하는가?

주요 결과

• 부드러운 ℓ1 손실과 ℓ1 중심 손실, 균일한 클래스 샘플링을 사용한 제안된 방법은 평균 절대 오차(MAE) 0.991과 가중 MSE 1.720을 달성하여 모든 베이스라인을 능가하였다.
• 최고 성능을 보인 구성(부드러운 ℓ1 + ℓ1 중심 손실 + 샘플링)은 표준 지표 기준으로 영구적 0 예측 기준선 대비 wMAE를 25% 감소시켰다.
• 피어슨 상관계수(PCC)는 0.651을 기록하여 실제 통증 곡선과 강한 시간적 추세 일치를 보였다.
• 가중 평가 지표는 이전 방법들(예: OSVR)이 표준 지표 기준으로는 영구적 0 예측 기준선보다도 열등한 성능를 보였음을 드러내었으며, 이는 보다 나은 평가가 필요함을 시사한다.
• 중심 손실 정규화는 특히 이산 통증 수준 주변의 예측 분산을 감소시켜 성능 향상에 크게 기여하였다.
• 부드러운 ℓ1 손실과 중심 손실의 조합은 MSE나 ℓ1 손실 단독 사용보다 더 안정적이고 정확한 회귀 출력을 도출하였다.