[논문 리뷰] Neonatal Pain Expression Recognition Using Transfer Learning

Ghada Zamzmi, Dmitry B. Goldgof외 2명|arXiv (Cornell University)|2018. 07. 04.

Pediatric Pain Management Techniques참고 문헌 32인용 수 23

한 줄 요약

이 논문은 신생아 얼굴 영상에서 깊이 있는 특징을 추출하기 위해 사전 훈련된 VGG-Face 및 VGG 네트워크를 사용하는 전이 학습 파이프라인을 제안한다. 이는 전통적인 광학 흐름 기반 변형 특징과 결합함으로써 92.71%의 정확도와 0.948 AUC를 달성하며, 수작업으로 만든 특징들만을 사용할 경우보다 유의하게 뛰어난 성능을 보인다.

ABSTRACT

Transfer learning using pre-trained Convolutional Neural Networks (CNNs) has been successfully applied to images for different classification tasks. In this paper, we propose a new pipeline for pain expression recognition in neonates using transfer learning. Specifically, we propose to exploit a pre-trained CNN that was originally trained on a relatively similar dataset for face recognition (VGG Face) as well as CNNs that were pre-trained on a relatively different dataset for image classification (iVGG F,M, and S) to extract deep features from neonates' faces. In the final stage, several supervised machine learning classifiers are trained to classify neonates' facial expression into pain or no pain expression. The proposed pipeline achieved, on a testing dataset, 0.841 AUC and 90.34 accuracy, which is approx. 7 higher than the accuracy of handcrafted traditional features. We also propose to combine deep features with traditional features and hypothesize that the mixed features would improve pain classification performance. Combining deep features with traditional features achieved 92.71 accuracy and 0.948 AUC. These results show that transfer learning, which is a faster and more practical option than training CNN from the scratch, can be used to extract useful features for pain expression recognition in neonates. It also shows that combining deep features with traditional handcrafted features is a good practice to improve the performance of pain expression recognition and possibly the performance of similar applications.

연구 동기 및 목표

• 관찰자 편향과 비연속적인 수작업 평가 점수의 문제를 해결하기 위해 자동화되고 지속적이며 일관된 신생아 통증 평가 방법을 개발하기 위해.
• 공개적으로 이용 가능한 신생아 통증 데이터셋이 부족하고 성인 중심의 통증 인식 모델이 신생아에 대해 잘 일반화되지 않는 문제를 해결하기 위해.
• 사전 훈련된 CNN을 사용한 전이 학습이 신생아 얼굴 영상에서 통증 분류를 위한 특징 추출에 효과적인지 평가하기 위해.
• 사전 훈련된 네트워크에서 추출한 깊이 있는 특징과 전통적인 수작업 특징(예: 광학 흐름 기반 변형)을 융합했을 때 분류 성능 향상이 이루어지는지 조사하기 위해.
• 임상 환경에서 신생아 통증 인식을 위해 CNN을 처음부터 훈련시키는 것보다 실용적이고 빠른 대안을 제공하기 위해.

제안 방법

• 얼굴 인식 및 ImageNet 데이터셋에서 사전 훈련된 컨volutional Neural Networks(VGG-Face, VGG-F, VGG-M, VGG-S)를 특징 추출기로 활용하기 위해.
• 사전 훈련된 네트워크의 최종 완전 연결(후-렐루) 및 하위 컨볼루션 레이어에서 깊이 있는 특징을 추출하기 위해.
• 통증 분류에 가장 관련성이 높은 특징을 유지하기 위해 특징 선택을 적용하기 위해.
• 이진 분류(통증 대 비통증)를 위해 추출된 깊이 있는 특징을 기반으로 감독 분류기(SVM, kNN, 나이브 베이즈)를 훈련하기 위해.
• 깊이 있는 특징과 비디오 시퀀스의 신생아 얼굴에서 추출한 전통적인 광학 흐름 기반 변형 특징을 융합하기 위해.
• 수작업 특징을 위한 서술 통계(예: 평균 변형)를 생성하기 위해 변형 플롯에 피크 탐지 알고리즘을 적용하기 위해.

실험 결과

연구 질문

• RQ1 사전 훈련된 CNN을 사용한 전이 학습이 신생아 통증 표현 인식을 위한 분류 가능한 특징을 효과적으로 추출할 수 있는가?
• RQ2 유사한 데이터셋(VGG-Face)에서 사전 훈련된 네트워크를 사용할 경우, 다른 데이터셋(VGG-F, VGG-M, VGG-S)에서 훈련된 네트워크보다 성능이 더 우수한가?
• RQ3 사전 훈련된 네트워크에서 추출한 깊이 있는 특징과 전통적인 수작업 특징(예: 광학 흐름 기반 변형)을 융합하면 분류 정확도와 AUC가 향상되는가?
• RQ4 특징 융합으로 인한 성능 향상이 단독으로 사용된 특징 유형 대비 통계적으로 유의미한가?
• RQ5 네트워크 레이어 선택(낮은 레이어 대 높은 레이어)이 추출된 특징의 분류 성능에 영향을 미치는가?

주요 결과

• 제안된 파이프라인은 VGG-Face 네트워크의 최종 완전 연결 레이어에서 추출한 깊이 있는 특징을 사용하여 90.34% 정확도와 0.841 AUC를 달성하였으며, 이는 전통적인 수작업 특징(83.88% 정확도, 0.719 AUC) 대비 약 7%p 향상된 성능이다.
• 가장 높은 성능을 보인 모델은 VGG-Face 네트워크의 고층에서 추출한 특징을 사용하였으며, 이는 얼굴 인식 데이터셋에서 사전 훈련된 모델이 신생아 통증 인식에 더 잘 일반화된다는 가설을 뒷받침한다.
• VGG-Face 네트워크의 고층에서 추출한 10개의 깊이 있는 특징과 5개의 광학 흐름 기반 변형 특징을 융합한 조합에서 최고의 성능을 기록하였으며, 이는 92.71% 정확도와 0.948 AUC를 달성하였다.
• 특징 융합으로 인한 성능 향상은 통계적으로 유의미한(p=0.05) 것으로 나타나 하이브리드 특징 표현 방식이 분류 성능 향상에 기여한다는 것을 시사한다.
• 고층 특징과 저층 특징 간 AUC 차이에 대한 통계적 유의성은 없었음(p=0.05), 이는 고층 특징이 더 우수한 성능를 보이지만 그 차이가 뚜렷하게 유의미하지 않음을 의미한다.
• 결과적으로 전이 학습은 신생아 통증 인식을 위해 CNN을 처음부터 훈련시키는 것보다 더 빠르고 실용적인 대안임을 보여주며, 특징 융합 전략은 데이터가 적은 환경에서 성능 향상에 유망한 전략임을 입증한다.