[論文レビュー] CNN-based Facial Affect Analysis on Mobile Devices

Charlie Hewitt, Hatice Güneş|arXiv (Cornell University)|Jul 23, 2018

Emotion and Mood Recognition参考文献 24被引用数 14

ひとこと要約

本論文では、スマートフォン上でリアルタイムの顔の感情分析を可能にするために、モバイルデプロイメントに最適化された3つの軽量CNNアーキテクチャを提案する。AffectNetデータセット上で評価した結果、8クラスの感情分類で58%の精度、感情の価値・覚醒度予測で平均RMSE 0.39を達成し、iPhone 6Sで約45fpsのリアルタイム推論が可能である。これは、感情駆動型音楽推薦などの実世界応用への実現可能性を示している。

ABSTRACT

This paper focuses on the design, deployment and evaluation of Convolutional Neural Network (CNN) architectures for facial affect analysis on mobile devices. Unlike traditional CNN approaches, models deployed to mobile devices must minimise storage requirements while retaining high performance. We therefore propose three variants of established CNN architectures and comparatively evaluate them on a large, in-the-wild benchmark dataset of facial images. Our results show that the proposed architectures retain similar performance to the dataset baseline while minimising storage requirements: achieving 58% accuracy for eight-class emotion classification and average RMSE of 0.39 for valence/arousal prediction. To demonstrate the feasibility of deploying these models for real-world applications, we implement a music recommendation interface based on predicted user affect. Although the CNN models were not trained in the context of music recommendation, our case study shows that: (i) the trained models achieve similar prediction performance to the benchmark dataset, and (ii) users tend to positively rate the song recommendations provided by the interface. Average runtime of the deployed models on an iPhone 6S equates to ~45 fps, suggesting that the proposed architectures are also well suited for real-time deployment on video streams.

研究の動機と目的

• ストレージと計算リソースが限られたモバイルデバイスに最適化された、効率的なCNNアーキテクチャの設計およびデプロイメントを目的とする。
• 大規模かつ実世界のデータセット（AffectNet）上でこれらのモデルを評価し、最先端のベンチマークと同等のパフォーマンスを確保することを目的とする。
• 感情知能ユーザインターフェース（EIUI）のための概念実証として、モデルを音楽推薦アプリケーションに統合することで、実世界へのデプロイ可能性を示すこと。
• 実世界の文脈でユーザーの認識とシステムのパフォーマンスを評価するため、感情ベースの楽曲推薦に関するユーザースタディを実施すること。
• モバイルアプリケーションにおける最小限のデータ保持と強いプライバシー配慮を実現するため、デバイス内での感情認識の実現可能性を検討すること。

提案手法

• VGGNetに基づく既存のCNNアーキテクチャの3つの変種を提案し、モデルサイズを削減しながらパフォーマンスを維持するためのアーキテクチャ的変更を施した。
• 45万枚の実世界の顔写真を含み、8つの離散的 emotions、価値（valence）、覚醒度（arousal）がアノテーションされたAffectNetデータセットを用いてモデルを学習した。
• 一般化を向上させ、過学習を軽減するため、データ拡張およびトランスファー学習の手法を適用した。
• AppleのCoreMLフレームワークを用いて、iPhone 6Sにモデルをデプロイし、低遅延のデバイス内推論を実現した。
• 予測された感情（感情、価値、覚醒度）を楽曲推薦にマッピングするヒューリスティックなマッピング戦略を用いて、音楽推薦インターフェースを実装した。
• データをデバイス上でローカルに処理することで、ユーザーのプライバシーとシステムのパフォーマンスを評価するためのユーザースタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 軽量CNNアーキテクチャは、モバイルデプロイメントに適したストレージ要件を満たしつつ、最先端のモデルと同等のパフォーマンスを達成できるか？
• RQ2 iPhone 6Sなどの一般消費者向けモバイルハードウェア上で、これらのモデルの推論速度とリアルタイムパフォーマンスはどのように比較されるか？
• RQ3 実世界の文脈において、予測された顔の感情に基づく感情駆動型音楽推薦は、ユーザーに肯定的に受け入れられる程度のものか？
• RQ4 顔の感情分析を行うモバイルアプリケーションを使用する際、ユーザーが抱くプライバシー上の懸念は何か？また、それらはデバイス内処理によってどのように軽減できるか？
• RQ5 一般的な感情データセットで学習されたモデルは、微調整なしに、音楽推薦などのアプリケーション固有のタスクに効果的に再利用可能か？

主な発見

• 提案されたCNN変種は、AffectNetデータセット上で8クラスの感情分類で58%の精度、価値／覚醒度予測で平均RMSE 0.39を達成し、データセットのベースラインモデルと同等のパフォーマンスを示した。
• デプロイされたモデルはiPhone 6Sで約45fpsで動作し、リアルタイムの動画ストリーム処理に適していることが確認された。
• ユーザースタディの結果、参加者は楽曲推薦を平均3.2（5段階評価）で評価したが、感情が正しく分類された場合には平均3.9の高い評価を得た。
• ユーザーはアプリケーションの機能に対して一般的に満足していたが、顔の画像を永続的に保存せず、すべての処理をローカルで行うことを強く希望した。
• スタディにより、汎用的なデータセットで学習された感情モデルが、微調整なしに音楽推薦などのアプリケーション固有の文脈でも効果的に使用可能であることが確認された。
• プライバシー上の懸念は存在したが、想定よりも顕著ではなく、特にデータ処理をデバイス内に留め、画像を保存しないことで、それらの懸念が軽減された。