[論文レビュー] A Multimodal Emotion Sensing Platform for Building Emotion-Aware Applications

Daniel McDuff, Kael Rowan+4 more|arXiv (Cornell University)|Mar 28, 2019

Emotion and Mood Recognition被引用数 10

ひとこと要約

本論文は、ウェブカメラやマイクなどの日常的センサーから得られる動画、音声、アプリケーション使用データを統合することで、感情認識を実現するリアルタイムでマルチモーダルな感情センシングプラットフォームを提示する。システムは、顔の表情、音声活動、発話、感情分析、文脈的メタデータをローカルまたはクラウドで処理し、データは安全に保存され、サービスバスを介してブロードキャストされ、コアなセンシングコンポONENTの再実装なしに拡張性のあるアプリケーション開発が可能になる。

ABSTRACT

Humans use a host of signals to infer the emotional state of others. In general, computer systems that leverage signals from multiple modalities will be more robust and accurate in the same task. We present a multimodal affect and context sensing platform. The system is composed of video, audio and application analysis pipelines that leverage ubiquitous sensors (camera and microphone) to log and broadcast emotion data in real-time. The platform is designed to enable easy prototyping of novel computer interfaces that sense, respond and adapt to human emotion. This paper describes the different audio, visual and application processing components and explains how the data is stored and/or broadcast for other applications to consume. We hope that this platform helps advance the state-of-the-art in affective computing by enabling development of novel human-computer interfaces.

研究の動機と目的

• コンピュータビジョン、音声処理、NLPの分野にまたがる顕著な専門知識と工学的作業を要する感情認識対応システムの構築という課題に応えること。
• 感情センシングコンポーネントの重複開発を減らすために、再利用可能で拡張性のあるプラットフォームを提供し、感情センシングを実現すること。
• 個人識別情報（PII）の最小限の送信で実現する、プライバシー保護型のローカル処理またはクラウドストリーミングによるリアルタイムでプライバシーに配慮した感情センシングを可能にすること。
• 標準化された、ブロードキャスト可能な感情および文脈データを提供することで、新しい人間-コンピュータインターフェースの開発を支援すること。
• 異なるアプリケーションや研究において一貫したセンシングパイプラインを用いることで、比較研究やメタアナリシスの促進を図ること。

提案手法

• 本プラットフォームは、動画入力からの顔検出、顔面の特徴点追跡、表情分析、ポーズ推定のリアルタイムパイプラインを用いる。
• 音声処理には、音声活動検出、音声認識、感情分析が含まれ、多領域のテキストコーパスで訓練されたロジスティック回帰モデルが使用される。
• アプリケーションログは、ウィンドウ状態（最小化、最大化、フォーカス）とアプリケーション名を記録し、行動的文脈を提供する。
• メールログは、相互情報量による特徴選択を経て1,200の特徴を選定したunigram、bigramを用いた感情価値抽出に、感情分類器を適用する。
• カレンダーログは、継続時間、開始時刻、参加者数、会議形式（対面またはバーチャル）などのイベントメタデータを記録する。
• データは、1秒間隔の集約で安全なクラウドデータベースに保存されるか、安全なサービスバスを介してブロードキャストされ、外部アプリケーションによるリアルタイム消費が可能になる。

実験結果

リサーチクエスチョン

• RQ1 統合的かつ拡張性のあるプラットフォームは、マルチモーダル入力を用いた感情認識対応アプリケーションの開発をどのように簡素化できるか？
• RQ2 感情認識のための処理において、ローカル処理とクラウド処理の間には、プライバシー、遅延、計算効率という観点でどのようなトレードオフが存在するか？
• RQ3 標準化された感情センシングコンポーネントは、感情認識対応システム研究における再現性と比較可能性をどの程度向上できるか？
• RQ4 アプリケーション使用状況、メール、カレンダーからの文脈的情報は、感情認識の正確性と関連性をどの程度向上できるか？
• RQ5 ユーザー行動および感情的信号を継続的に監視する際、プライバシーを確保するための技術的および倫理的対策として、どのような措置が必要か？

主な発見

• 本プラットフォームは、標準的なデバイスセンサー（ウェブカメラおよびマイク）のみを用いて、リアルタイムでマルチモーダルな感情センシングを実現しており、専用ハードウェアの導入を不要としている。
• データをローカルで処理することで、個人識別情報（PII）の送信を最小限に抑え、ユーザーのプライバシーを強化している。
• 本システムは、デバイス内およびクラウドデプロイメントの両方をサポートしており、計算能力および接続性の要件に応じた柔軟な選択肢を提供している。
• 安全なサービスバスの利用により、外部アプリケーションはセンシングパイプラインに直接統合されることなく、感情および文脈データを消費できる。
• 本プラットフォームは、プロトタイプアプリケーションの構築に使用されており、さまざまなユースケースにわたる拡張性と再利用可能性が実証されている。
• 生の音声、動画、メール本文、個人識別データは一切保存されておらず、すべてのデータ収集はユーザーの明示的同意に基づくオプトイン方式である。