[논문 리뷰] Multimodal Affect Analysis for Product Feedback Assessment

Amol Patwardhan, Gerald M. Knapp|arXiv (Cornell University)|2017. 05. 07.

Color perception and design참고 문헌 13인용 수 20

한 줄 요약

이 논문은 Kinect for Windows를 사용하여 얼굴 표정, 신체 자세, 손짓 및 음성 신호를 분석함으로써 소비자 제품 피드백을 평가하는 다중모달 정서 인식 시스템을 제시한다. 피부 색상 분할, 하르 캐스케이드 검출, 윤곽선 추출 및 SVM 기반 분류를 활용하여 소매점 환경에서 선호도 평가를 위한 실시간 정확한 정서 상태 탐지 성능을 달성한다.

ABSTRACT

Consumers often react expressively to products such as food samples, perfume, jewelry, sunglasses, and clothing accessories. This research discusses a multimodal affect recognition system developed to classify whether a consumer likes or dislikes a product tested at a counter or kiosk, by analyzing the consumer's facial expression, body posture, hand gestures, and voice after testing the product. A depth-capable camera and microphone system - Kinect for Windows - is utilized. An emotion identification engine has been developed to analyze the images and voice to determine affective state of the customer. The image is segmented using skin color and adaptive threshold. Face, body and hands are detected using the Haar cascade classifier. Canny edges are identified and the lip, body and hand contours are extracted using spatial filtering. Edge count and orientation around the mouth, cheeks, eyes, shoulders, fingers and the location of the edges are used as features. Classification is done by an emotion template mapping algorithm and training a classifier using support vector machines. The real-time performance, accuracy and feasibility for multimodal affect recognition in feedback assessment are evaluated.

연구 동기 및 목표

• 소매점 키오스크 환경에서 소비자의 정서적 반응을 실시간으로 평가하기 위한 시스템을 개발한다.
• 얼굴 표정, 음성, 신체 자세 및 손짓과 같은 다중 모odal을 통합하여 피드백 평가 정확도를 향상시킨다.
• 실제 실생활 제품 테스트 환경에서 다중모달 정서 인식의 타당성과 성능을 평가한다.
• 시각적 및 청각적 모달에서 특징을 식별하고 추출하여 정서 분류에 활용한다.
• 소비자가 제품을 좋아하는지 또는 싫어하는지의 여부를 분류하는 시스템의 정확성과 반응 속도를 검증한다.

제안 방법

• 소비자가 제품을 테스트하는 동안 Kinect for Windows를 활용해 깊이, RGB 및 음성 데이터를 캡처한다.
• 이미지 내 얼굴, 신체 및 손 부위를 분리하기 위해 피부 색상 분할과 적응형 임계값 처리를 적용한다.
• 실시간으로 얼굴, 전신 및 손을 검출하기 위해 하르 캐스케이드 분류기를 사용한다.
• Canny 윤곽선을 추출하고 공간 필터링을 적용하여 입술, 볼, 눈, 어깨 및 손가락의 윤곽을 식별한다.
• 핵심 얼굴 및 신체 부위 주변의 윤곽선 수와 방향성 특징을 분류 입력으로 계산한다.
• 감정 템플릿 매핑 알고리즘과 서포트 벡터 머신(SVM)을 사용하여 정서 상태를 '좋아요' 또는 '싫어요'로 분류한다.

실험 결과

연구 질문

• RQ1 얼굴 표정, 음성, 자세 및 제스처와 같은 다중모달 정서 신호를 효과적으로 융합하여 소비자 제품 선호도를 평가할 수 있는가?
• RQ2 소매점 키오스크 환경에서 Kinect 기반 센서를 사용한 실시간 시스템이 소비자의 정서를 얼마나 정확하게 분류할 수 있는가?
• RQ3 입술 주변의 윤곽 패턴이나 음성 톤과 같은 시각적 및 청각적 특징 중에서 소비자 선호도를 가장 잘 예측하는 것은 무엇인가?
• RQ4 실제 실생활 제품 테스트 환경에 이러한 시스템을 구현하는 데의 타당성은 어떠한가?
• RQ5 개별 모달(예: 얼굴 vs. 음성) 간의 정서 예측 능력은 선호도 평가에서 어떻게 비교되는가?

주요 결과

• 시스템은 실시간 성능을 달성하여 제품 테스트 중 즉각적인 피드백 평가가 가능하다.
• 입술, 눈 및 손 주변의 윤곽선에서 추출한 특징가 분류 정확도를 크게 향상시켰다.
• 시각적 및 청각적 모달의 융합은 제품 피드백에 대한 정서 인식에서 단일 모달 접근보다 뛰어난 성능을 보였다.
• 추출된 특징에 기반한 서포트 벡터 머신은 '좋아요'와 '싫어요' 반응을 구분하는 데 높은 정확도를 보였다.
• 적응형 임계값 처리와 피부 색상 분할을 적용함으로써 다양한 조명 조건에서도 안정성이 향상되었다.
• 감정 템플릿 매핑 알고리즘이 낮은 지연 시간으로 다중모달 특징을 정서 상태에 효과적으로 매핑하였다.