[論文レビュー] Multimodal Affect Analysis for Product Feedback Assessment

Amol Patwardhan, Gerald M. Knapp|arXiv (Cornell University)|May 7, 2017

Color perception and design参考文献 13被引用数 20

ひとこと要約

本論文では、Kinect for Windowsを用いて顔の表情、ボディポーズ、手のジェスチャー、音声を分析することで、小売環境における消費者製品フィードバックの感情認識を評価するマルチモーダル感情認識システムを提示する。皮膚色セグメンテーション、ハールカスケード検出、エッジ抽出、SVMベースの分類を用いることで、リアルタイムかつ高精度な感情状態検出を実現し、小売環境における好みの評価を可能にする。

ABSTRACT

Consumers often react expressively to products such as food samples, perfume, jewelry, sunglasses, and clothing accessories. This research discusses a multimodal affect recognition system developed to classify whether a consumer likes or dislikes a product tested at a counter or kiosk, by analyzing the consumer's facial expression, body posture, hand gestures, and voice after testing the product. A depth-capable camera and microphone system - Kinect for Windows - is utilized. An emotion identification engine has been developed to analyze the images and voice to determine affective state of the customer. The image is segmented using skin color and adaptive threshold. Face, body and hands are detected using the Haar cascade classifier. Canny edges are identified and the lip, body and hand contours are extracted using spatial filtering. Edge count and orientation around the mouth, cheeks, eyes, shoulders, fingers and the location of the edges are used as features. Classification is done by an emotion template mapping algorithm and training a classifier using support vector machines. The real-time performance, accuracy and feasibility for multimodal affect recognition in feedback assessment are evaluated.

研究の動機と目的

• 小売キオスクにおける製品に対する消費者の感情的反応をリアルタイムで評価するためのシステムを開発すること。
• 顔の表情、音声、ボディポーズ、手のジェスチャーといった複数のモダリティを統合し、フィードバック評価の精度を向上させること。
• 実世界の製品テストシナリオにおけるマルチモーダル感情認識の実現可能性とパフォーマンスを評価すること。
• 視覚的および音声的モダリティから特徴を特定して抽出し、感情分類に用いること。
• システムの分類精度と反応性が、製品に対する消費者の好ましさまたは不満の認識において高精度に達成されているかを検証すること。

提案手法

• 製品を試用中の消費者から深度、RGB、音声データをKinect for Windowsで取得する。
• 顔、体、手の領域を画像から分離するために、皮膚色セグメンテーションと適応的しきい値処理を適用する。
• リアルタイムで顔、全身、手を検出するためにハールカスケード分類器を用いる。
• Cannyエッジ抽出と空間フィルタリングを用い、口、頬、目、肩、指の輪郭を特定する。
• 顔や体の主要領域の周囲のエッジ数と方向特徴を計算し、分類の入力として用いる。
• 感情テンプレートマッピングアルゴリズムとサポートベクターマシン（SVM）を用いて、感情状態を「好む」または「嫌う」として分類する。

実験結果

リサーチクエスチョン

• RQ1 顔の表情、音声、ポーズ、ジェスチャーといったマルチモーダルな感情信号を効果的に統合することで、消費者の製品好みを評価できるか？
• RQ2 小売キオスク環境において、Kinectベースのセンサーを用いたリアルタイムシステムが、消費者の感情をどれほど正確に分類できるか？
• RQ3 視覚的および音声的特徴（例：口の周囲のエッジパターンや声のトーン）の中で、消費者の好みを予測するのに最も効果的なものは何か？
• RQ4 このようなシステムを実世界の製品テスト環境に展開することは可能か？
• RQ5 個々のモダリティ（例：顔 vs. 音声）は、好み評価においてどの程度の予測力を持つのか？

主な発見

• システムはリアルタイム性能を達成しており、製品試用中の即時のフィードバック評価が可能である。
• 口、目、手の周囲のエッジからの特徴抽出が、分類精度の向上に顕著に寄与した。
• 視覚的および音声的モダリティの統合は、製品フィードバックの感情認識において、単一モダリティ手法を上回る性能を示した。
• 抽出された特徴に基づいて訓練されたサポートベクターマシンは、「好む」と「嫌う」の反応を識別するのに高い精度を示した。
• 適応的しきい値処理と皮膚色セグメンテーションの活用により、明るさの異なる環境下でも耐障害性が向上した。
• 感情テンプレートマッピングアルゴリズムは、低遅延でマルチモーダル特徴を感情状態に効果的にマッピングできた。