[논문 리뷰] ResMoNet: A Residual Mobile-based Network for Facial Emotion Recognition in Resource-Limited Systems.

Rodolfo Ferro-Pérez, Hugo Mitre‐Hernandez|arXiv (Cornell University)|2020. 05. 15.

Emotion and Mood Recognition참고 문헌 20인용 수 8

한 줄 요약

ResMoNet는 자원이 제한된 장치에서 얼굴 정서 인식을 위한 경량형 잔차 모바일 기반 CNN을 제안한다. 깊이 분리형 컨볼루션과 잔차 블록을 사용하며, RaFD 데이터셋에서 평가한 결과, MobileNet, PeleeNet, EDNN 및 IDNN와 비교해 더 낮은 FLOPs, 파라미터 수, 향상된 추론 속도 및 메모리 사용량을 기록한 높은 정확도를 달성한다.

ABSTRACT

The Deep Neural Networks (DNNs) models have contributed a high accuracy for the classification of human emotional states from facial expression recognition data sets, where efficiency is an important factor for resource-limited systems as mobile devices and embedded systems. There are efficient Convolutional Neural Networks (CNN) models as MobileNet, PeleeNet, Extended Deep Neural Network (EDNN) and Inception-Based Deep Neural Network (IDNN) in terms of model architecture results: parameters, Floating-point OPerations (FLOPs) and accuracy. Although these results are satisfactory, it is necessary to evaluate other computational resources related to the trained model such as main memory utilization and response time to complete the emotion recognition. In this paper, we compare our proposed model inspired in depthwise separable convolutions and residual blocks with MobileNet, PeleeNet, EDNN and IDNN. The comparative results of the CNN architectures and the trained models --with Radboud Faces Database (RaFD)-- installed in a resource-limited device are discussed.

연구 동기 및 목표

• 모바일 및 임베디드 장치와 같은 자원이 제한된 시스템에서 효율적인 딥러닝 모델의 필요성을 해결한다.
• FLOPs와 파라미터와 같은 전통적 지표를 넘어서 메모리 사용량과 추론 시간을 평가하여 계산 효율성을 향상시킨다.
• 깊이 분리형 컨볼루션과 잔차 블록을 조합한 새로운 CNN 아키텍처를 개발하여 저자원 환경에서의 성능을 향상시킨다.
• 얼굴 정서 인식 작업에 대해 기존의 경량 모델(MobileNet, PeleeNet, EDNN, IDNN)과의 벤치마크를 수행한다.

제안 방법

• 계산 복잡도를 줄이기 위해 깊이 분리형 컨볼루션을 활용한 잔차 모바일 기반 네트워크(ResMoNet)를 설계한다.
• 깊이 있는 아키텍처에서 학습 안정성과 기울기 흐름 향상을 위해 잔차 블록을 통합한다.
• 낮은 FLOPs, 최소한의 파라미터 수, 그리고 감소된 메모리 프로파일을 위해 모델 아키텍처를 최적화한다.
• 실제 배포 환경 제약 조건 하에서 Radboud Faces Database(RaFD)에서 모델을 훈련하고 평가한다.
• 다양한 경량 CNN 간의 추론 성능, 즉 반응 시간과 주 메모리 활용도를 비교한다.
• 모델을 얼굴 정서 인식 작업에 적합하도록 전이 학습 및 미세 조정 기법을 사용하여 적응시킨다.

실험 결과

연구 질문

• RQ1 ResMoNet은 얼굴 정서 인식 작업에서 MobileNet, PeleeNet, EDNN 및 IDNN와 비교해 FLOPs와 모델 파라미터 수에서 어떻게 다른가?
• RQ2 자원이 제한된 장치에 배포했을 때 ResMoNet의 추론 속도와 주 메모리 활용도는 어떻게 되는가?
• RQ3 ResMoNet에 잔차 블록과 깊이 분리형 컨볼루션을 통합함으로써 기준 모델 대비 정확도와 효율성이 향상되는가?
• RQ4 FLOPs, 파라미터 수, 메모리 사용량, 반응 시간과 같은 계산 지표들이 함께 모바일 시스템에 정서 인식 모델의 구현 가능성을 어떻게 영향을 미치는가?

주요 결과

• ResMoNet은 RaFD 데이터셋에서 MobileNet, PeleeNet, EDNN 및 IDNN보다 더 높은 정확도를 달성하면서도 더 낮은 FLOPs와 파라미터 수를 유지한다.
• 기준 모델 대비 ResMoNet은 추론 시간이 감소하여 모바일 장치에서 실시간 성능 향상을 보여준다.
• 비교 모델들 대비 ResMoNet의 주 메모리 활용도는 뚜렷이 낮아 임베디드 시스템에 더 적합함을 입증한다.
• ResMoNet에서 깊이 분리형 컨볼루션과 잔차 블록의 조합은 정확도와 계산 효율성 사이의 더 나은 트레이드오프를 이끌어낸다.
• 정확도, FLOPs, 파라미터 수, 메모리 사용량을 종합적으로 고려할 때 ResMoNet은 모든 기준 모델을 능가하는 종합적인 효율성을 확보한다.