[논문 리뷰] CNN-based Facial Affect Analysis on Mobile Devices

Charlie Hewitt, Hatice Güneş|arXiv (Cornell University)|2018. 07. 23.

Emotion and Mood Recognition참고 문헌 24인용 수 14

한 줄 요약

이 논문은 스마트폰에서 실시간 얼굴 정서 분석을 가능하게 하기 위해 모바일 배포를 최적화한 세 가지 경량 CNN 아키텍처를 제안한다. AffectNet 데이터셋에서 평가한 결과, 8개 클래스 정서 분류 정확도는 58%이며, 정서/각성도 예측의 평균 RMSE는 0.39를 기록했으며, iPhone 6S에서 약 45fps의 실시간 추론 성능을 보였으며, 정서 기반 음악 추천과 같은 실생활 응용 분야의 실현 가능성을 입증한다.

ABSTRACT

This paper focuses on the design, deployment and evaluation of Convolutional Neural Network (CNN) architectures for facial affect analysis on mobile devices. Unlike traditional CNN approaches, models deployed to mobile devices must minimise storage requirements while retaining high performance. We therefore propose three variants of established CNN architectures and comparatively evaluate them on a large, in-the-wild benchmark dataset of facial images. Our results show that the proposed architectures retain similar performance to the dataset baseline while minimising storage requirements: achieving 58% accuracy for eight-class emotion classification and average RMSE of 0.39 for valence/arousal prediction. To demonstrate the feasibility of deploying these models for real-world applications, we implement a music recommendation interface based on predicted user affect. Although the CNN models were not trained in the context of music recommendation, our case study shows that: (i) the trained models achieve similar prediction performance to the benchmark dataset, and (ii) users tend to positively rate the song recommendations provided by the interface. Average runtime of the deployed models on an iPhone 6S equates to ~45 fps, suggesting that the proposed architectures are also well suited for real-time deployment on video streams.

연구 동기 및 목표

• 제한된 스토리지 및 계산 자원을 가진 모바일 장치에 최적화된 효율적인 CNN 아키텍처 설계 및 구현.
• 대규모 실외 환경 데이터셋(AffectNet)에서 이러한 모델의 성능을 평가하여 최신 기준 수준의 성능를 확보.
• 정서 지능형 사용자 인터페이스(EIUI)의 실현 가능성을 입증하기 위해 모델을 음악 추천 애플리케이션에 통합하여 개념 증명을 수행.
• 실생활 환경에서 사용자 인식과 시스템 성능을 평가하기 위해 정서 기반 음악 추천에 대한 사용자 연구를 수행.
• 모바일 애플리케이션에서 최소한의 데이터 유지 및 강력한 프라이버시 고려사항을 갖춘 디바이스 내 정서 인식의 실현 가능성 탐색.

제안 방법

• 기존의 VGGNet 기반 CNN 아키텍처를 변형하여 모델 크기를 줄이면서도 성능를 유지하는 세 가지 변형 모델을 제안.
• 8개의 이산 정서, 정서도, 각성도를 포함한 45만 장의 실외 환경 얼굴 이미지가 레이블링된 AffectNet 데이터셋을 사용해 모델을 훈련.
• 일반화 성능 향상과 과적합 방지를 위해 데이터 증강 및 전이 학습 기법을 적용.
• Apple의 CoreML 프레임워크를 사용해 iPhone 6S에 모델을 배포하여 저지연 추론을 위한 디바이스 내 추론을 구현.
• 예측된 정서(정서, 정서도, 각성도)를 기반으로 음악 추천을 유도하는 히ュ리스틱 매핑 전략을 사용한 음악 추천 인터페이스를 구현.
• 사용자 연구를 통해 추천 품질 평가 및 사용자 프라이버시 우려를 분석하였으며, 데이터는 모두 디바이스 내에서 처리됨.

실험 결과

연구 질문

• RQ1 경량 CNN 아키텍처는 모바일 배포를 위한 스토리지 요구량을 최소화하면서도 최신 기준 모델 수준의 성능를 달성할 수 있는가?
• RQ2 소비자용 모바일 하드웨어(예: iPhone 6S)에서 이러한 모델의 추론 속도와 실시간 성능는 어떻게 비교되는가?
• RQ3 실생활 환경에서 예측된 얼굴 정서를 기반으로 한 정서 기반 음악 추천이 사용자에게 긍정적으로 인식될 수 있는 정도는 어느 정도인가?
• RQ4 얼굴 정서 분석 기능을 갖춘 모바일 애플리케이션을 사용할 때 사용자들이 느끼는 프라이버시 우려는 무엇이며, 디바이스 내 처리를 통해 이를 어떻게 완화할 수 있는가?
• RQ5 일반적인 정서 데이터셋으로 훈련된 모델들이 태스크 특화 미세조정 없이도 음악 추천과 같은 응용 작업에 효과적으로 재사용될 수 있는가?

주요 결과

• 제안된 CNN 변형 모델은 AffectNet 데이터셋에서 8개 클래스 정서 분류 정확도 58%와 정서도/각성도 예측의 평균 RMSE 0.39를 기록했으며, 데이터셋의 기준 모델 수준의 성능를 유지함.
• 배포된 모델는 iPhone 6S에서 약 45fps로 실행되어 실시간 영상 스트림 처리에 적합함을 확인함.
• 사용자 연구 결과, 참가자들은 음악 추천을 평균 3.2점(5점 만점)으로 평가했으며, 정서가 정확히 분류된 경우 평균 3.9점으로 더 높은 평가를 받음.
• 사용자들은 애플리케이션의 功能에 대해 일반적으로 만족감을 보였지만, 데이터를 로컬에서 처리하고 얼굴 이미지를 영구 저장하지 않는 것을 선호함.
• 연구를 통해 일반 데이터셋으로 훈련된 정서 모델이 태스크 특화 미세조정 없이도 음악 추천과 같은 응용 분야에서 효과적으로 활용될 수 있음이 확인됨.
• 프라이버시 우려는 존재했지만 예상보다 덜 심각했으며, 특히 데이터 처리를 디바이스 내에서 수행하고 이미지를 저장하지 않을 경우 더욱 그러함.