[논문 리뷰] Improving Facial Emotion Recognition Systems Using Gradient and Laplacian Images

Ram Krishna Pandey, Souvik Karmakar외 2명|arXiv (Cornell University)|2019. 02. 12.

Emotion and Mood Recognition참고 문헌 28인용 수 9

한 줄 요약

이 논문은 기존의 입력 이미지 외에 기울기 및 라플라시안 이미지를 함께 제공함으로써 심층 합성곱 신경망(CNN)을 활용한 얼굴 정서 인식(FER) 시스템의 정확도를 크게 향상시키는 방법을 제안한다. 이 방법은 아키텍처의 복잡성 없이 KDEF 및 FERPlus 데이터셋에서 최신 기술 수준의 성능을 3–5% 향상시키며, 표준 CNN이 원본 이미지에서 추출하지 못하는 에지 및 강도 변화 정보를 활용한다.

ABSTRACT

In this work, we have proposed several enhancements to improve the performance of any facial emotion recognition (FER) system. We believe that the changes in the positions of the fiducial points and the intensities capture the crucial information regarding the emotion of a face image. We propose the use of the gradient and the Laplacian of the input image together with the original input into a convolutional neural network (CNN). These modifications help the network learn additional information from the gradient and Laplacian of the images. However, the plain CNN is not able to extract this information from the raw images. We have performed a number of experiments on two well known datasets KDEF and FERplus. Our approach enhances the already high performance of state-of-the-art FER systems by 3 to 5%.

연구 동기 및 목표

• 기존의 얼굴 정서 인식(FER) 시스템의 성능을 단순하고 효과적인 이미지 전처리 방법을 통해 향상시키는 것.
• 사전 계산된 기울기 및 라플라시안 이미지가 FER를 위한 심층 CNN의 특징 학습에 기여하는지 조사하는 것.
• 에지에 민감한 이미지 변환을 통해 강도 및 구조적 변화를 캡처함으로써 수작업으로 생성한 특징점 검출에 대한 의존도를 줄이는 것.
• 표준 모델의 1/10 수준의 파라미터를 가지면서도 높은 정확도를 유지하는 경량이고 효율적인 CNN 아키텍처를 개발하는 것.
• 기울기 및 라플라시안 특징이 표준 CNN에 의해 원본 이미지에서 자동으로 학습될 수 없다는 점을 입증함으로써, 이를 명시적으로 입력으로 제공하는 것이 타당한지 검토하는 것.

제안 방법

• 입력 이미지에 소벨 연산자를 사용해 계산한 기울기 이미지와 두 번째 도함수인 라플라시안 이미지를 추가하여 다중 채널 입력(예: 원본 + 기울기 x/y + 라플라시안의 3채널)을 구성한다.
• 수정된 다중 채널 이미지가 CNN에 입력되며, 네트워크는 원본 이미지와 유도된 이미지 표현을 동시에 학습한다.
• 특징 학습 향상과 모델 복잡도 감소를 위해 공간 변환기 레이어(STL)와 역전형 블록 모듈을 사용한다.
• KDEF 및 FERPlus 데이터셋에서 원본, 기울기, 라플라시안, 병합된 입력을 사용한 다양한 모델을 학습하여 성능 향상을 비교한다.
• Adam 옵timizer를 사용해 VGG13 및 RTNN 모델을 재구현하고, 입력 수준의 개선이 가져오는 정확도 향상을 평가한다.
• 깊이 분리형 합성곱과 전역 평균 풀링(GAP)을 사용해 VGG13의 1/13 수준의 파라미터를 가진 경량 모델을 제안하며, 기울기 및 라플라시안 입력을 사용할 경우 기존 VGG13 모델과 유사한 정확도를 달성한다.

실험 결과

연구 질문

• RQ1 CNN의 입력에 기울기 및 라플라시안 이미지를 추가하면 얼굴 정서 인식 정확도가 유의미하게 향상되는가?
• RQ2 성능 향상은 단순히 데이터 증강 효과 때문이 아니라, 입력의 다양성 증가와 richer한 에지/텍스처 정보 덕분인가?
• RQ3 기울기 및 라플라시안 입력을 사용할 경우, 경량 CNN 아키텍처가 더 큰 모델과 유사한 성능을 달성할 수 있는가?
• RQ4 기울기 및 라플라시안 특징은 표준 CNN이 원본 이미지에서만 학습할 수 있는가, 아니면 명시적인 입력이 필요한가?
• RQ5 사전 계산된 에지 특징을 사용하면 FER 시스템에서 명시적인 특징점 검출이 줄어들 수 있는가?

주요 결과

• 제안된 방법은 KDEF 및 FERPlus 데이터셋에서 최신 기술 수준의 FER 성능을 각각 3–5% 향상시키며, 다양한 아키텍처에서 일관된 성과를 보였다.
• 소벨 또는 라플라시안 변환을 적용하고 이를 추가 채널로 연결함으로써 입력의 다양성이 증가하고, 기준 VGG13 대비 약 3%의 정확도 향상을 달성했다.
• 원본, 기울기, 라플라시안 이미지를 병렬 입력 스트림으로 사용한 RTNN 모델은 원래 RTNN보다 더 높은 정확도를 기록하며, 다중 스트림 특징 입력의 이점을 입증했다.
• VGG13의 1/13 수준의 파라미터를 가진 자체 설계한 경량 CNN은 기울기 및 라플라시안 입력을 사용할 경우 기존 VGG13 모델과 유사한 정확도를 달성했다.
• 결과적으로 표준 CNN은 원본 이미지에서 기울기 및 라플라시안 특징을 효과적으로 추출하지 못함을 보여주며, 이를 명시적으로 입력으로 제공하는 것이 타당함을 입증했다.
• 유도된 이미지 채널 덕분에 데이터셋의 유효 크기가 2–3배 증가하며, 추가적인 데이터 수집 없이도 일반화 성능 향상이 가능하다.