[논문 리뷰] Faces of Experimental Pain: Transferability of Deep Learned Heat Pain Features to Electrical Pain

Pooja Prajod, Dominik Schiller외 2명|arXiv (Cornell University)|2024. 06. 17.

Neuroscience and Neural Engineering인용 수 5

한 줄 요약

이 연구는 한 고통 데이터셋에서 학습된 딥 열통증 특징 추출기가 AI4Pain 얼굴 비디오를 사용해 간단한 ANN과 LSTM 분류기를 훈련시키고 베이스라인보다 성능이 우수한지 전이 학습을 통해 전이 가능한지 테스트한다.

ABSTRACT

The limited size of pain datasets are a challenge in developing robust deep learning models for pain recognition. Transfer learning approaches are often employed in these scenarios. In this study, we investigate whether deep learned feature representation for one type of experimentally induced pain can be transferred to another. Participating in the AI4Pain challenge, our goal is to classify three levels of pain (No-Pain, Low-Pain, High-Pain). The challenge dataset contains data collected from 65 participants undergoing varying intensities of electrical pain. We utilize the video recording from the dataset to investigate the transferability of deep learned heat pain model to electrical pain. In our proposed approach, we leverage an existing heat pain convolutional neural network (CNN) - trained on BioVid dataset - as a feature extractor. The images from the challenge dataset are inputted to the pre-trained heat pain CNN to obtain feature vectors. These feature vectors are used to train two machine learning models: a simple feed-forward neural network and a long short-term memory (LSTM) network. Our approach was tested using the dataset's predefined training, validation, and testing splits. Our models outperformed the baseline of the challenge on both the validation and tests sets, highlighting the potential of models trained on other pain datasets for reliable feature extraction.

연구 동기 및 목표

• 데이터 부족 문제를 해결하기 위해 열통증 모델의 전이 학습을 이용해 전기통증 데이터셋으로 전달한다.
• AI4Pain 데이터세트에서 열통증에서 학습된 얼굴 특징이 세 가지 수준의 전기통증(No-Pain, Low-Pain, High-Pain)을 효과적으로 분류하는지 평가한다.
• 사전 학습된 열통증 CNN의 특징을 사용한 두 개의 경량 목표 모델(투표를 이용한 ANN과 LSTM)의 성능을 평가한다.
• 전이 기반 모델과 AI4Pain 챌린지 베이스라인을 검증 및 테스트 분할에서 비교한다.

제안 방법

• BioVid 열통증 데이터로 학습된 글로벌 평균풀링이 수정된 VGG16 기반 CNN을 얼굴 크롭의 1024차원 특징 추출기로 사용한다.
• 얼굴을 224x224로 자르고 정렬하고 크기를 맞춘다; 프레임을 30 Hz로 샘플링하고 프레임 수준 특징 벡터를 추출한다.
• 추출된 특징에서 두 개의 목표 모델을 학습한다: (i) 비디오 수준 예측을 위한 다층의 간단한 네 층 ANN과 다수결 투표; (ii) 배치 정규화 및 드롭아웃이 있는 300프레임 시퀀스를 처리하는 2층 LSTM 네트워크(30 Hz에서 10초)
• AI4Pain 학습/검증/테스트 분할에서 정확도, 정밀도, 재현율, F1-점수를 보고 baseline(Video, fNIRS, Video+fNIRS)과 비교한다.

실험 결과

연구 질문

• RQ1 열통증 얼굴 표현에서 학습된 특징이 세 가지 등급의 전기통증(No-, Low-, High-Pain)에 일반화되어 구분할 수 있는가?
• RQ2 전이 기반 모델(ANN 및 LSTM)이 Cross-domain pain features를 사용할 때 검증 및 테스트 세트에서 AI4Pain 베이스라인보다 우수한가?
• RQ3 얼굴 표정에서 프레임 수준 CNN에서 파생된 특징 전달이 열통증과 전기통통증 사이의 자극 차이에서도 견고한가?
• RQ4 전이 설정에서 시계열 모델링(LSTM)과 프레임 단위 ANN(다수결 투표)을 사용하는 것의 영향은 무엇인가?

주요 결과

• 두 전달 기반 모델은 검증 세트에서 챌린지 베이스라인을 상회했고; LSTM은 검증 정확도 최댓값 0.60을 달성했다.
• 테스트 세트에서 단순한 Voting이 있는 ANN이 모든 베이스라인(0.49)과 LSTM(0.43)을 상회했다.
• 검증에서 unimodal fNIRS 베이스라인이 베이스라인들 중 가장 좋았고, 다중모달 결합은 unimodal 베이스라인을 개선하지 못했다.
• 결과는 열통증에서 학습된 특징이 얼굴 영상에서 전기통증 표현을 인식하는 데 재사용될 수 있어, 데이터가 제한된 상황에서 통증 인식에 도움이 될 수 있음을 시사한다.