[論文レビュー] EmoFit: Affect Monitoring System for Sedentary Jobs

Amol Patwardhan, Gerald M. Knapp|arXiv (Cornell University)|Jul 5, 2016

Impact of Technology on Adolescents参考文献 19被引用数 4

ひとこと要約

EmoFit は、キーストローク、作業の中断、眼動追跡、顔の表情、身体の姿勢、発話の分析を通じて、座り仕事の従業員の感情的・身体的健康を向上させるために設計されたマルチモーダルな感情モニタリングシステムである。このシステムは、感情的苦痛や身体的不活発を検出すると、デスクワーク用の運動、ストレス軽減ゲーム、励ましの言葉といったパーソナライズされた介入を提供する。実験的結果では、肯定的なフィードバックと、健康状態の向上が確認された。

ABSTRACT

Emotional and physical well-being at workplace is important for a positive work environment and higher productivity. Jobs such as software programming lead to a sedentary lifestyle and require high interaction with computers. Working at the same job for years can cause a feeling of intellectual stagnation and lack of drive. Many employees experience lack of motivation, mild to extreme depression due to reasons such as aversion towards job responsibilities and incompatibility with coworkers or boss. This research proposed an affect monitoring system EmoFit that would play the role of psychological and physical health trainer. The day to day computer activity and body language was analyzed to detect the physical and emotional well-being of the user. Keystrokes, activity interruptions, eye tracking, facial expressions, body posture and speech were monitored to gauge the users health. The system also provided activities such as at-desk exercise and stress relief game and motivational quotes in an attempt to promote users well-being. The experimental results and positive feedback from test subjects showed that EmoFit would help improve emotional and physical well-being at jobs that involve significant computer usage.

研究の動機と目的

• 長期間にわたる座り仕事の職場環境における感情的・身体的健康の低下を是正すること、特にソフトウェアプログラミングなどの職種を対象とする。
• 職務満足度の低下や人間関係の対立に起因する、やる気の低下や軽度から重度のうつ状態などの感情的苦痛の兆候を検出すること。
• コンピュータ操作と身体的行動からのマルチモーダル入力を用いて、非侵襲的かつリアルタイムでユーザーのウェルネス状態を監視するシステムを開発すること。
• デスクワーク用の運動やストレス軽減ゲームを含む、文脈に即したパーソナライズされたウェルネス介入を提供し、日々のウェルネスを向上させること。
• 実際の職場環境でのユーザーフィードバックと実験的評価を通じて、システムの有効性を検証すること。

提案手法

• システムは、キーストロークのダイナミクス、作業の中断、眼動追跡、顔の表情分析、身体の姿勢モニタリング、発話パターンからなる複数のソースからのデータを収集する。
• コンピュータビジョンとパターン認識技術を用いて、ウェブカメラからの映像をリアルタイムで分析し、顔の表情と身体の姿勢を評価する。
• キーストロークログと作業の中断の追跡を用いて、認知的負荷と感情状態の変化を推定する。
• 眼動追跡データは、注意のレベルや疲労、関与度の低下を評価するのを支援する。
• 発話分析は、周波数や発話速度の変化といった声のストレスマーカーを検出するために適用される。
• これらの信号を統合して統一された感情モデルを構築し、感情的・身体的ウェルネス状態を評価する。必要に応じて、カスタマイズされたウェルネス介入をトリガーする。

実験結果

リサーチクエスチョン

• RQ1 コンピュータ操作と身体的行動のマルチモーダルセンシングは、座り仕事の従業員における感情的・身体的ウェルネス状態を信頼性高く検出できるか？
• RQ2 デスクワーク用の運動やストレス軽減ゲームを含む、リアルタイムで文脈に即したウェルネス介入は、ユーザーのウェルネス向上にどの程度効果的か？
• RQ3 ユーザーは、このシステムを日常の業務に組み込む際に、非侵襲的かつ有益なものと感じているか？
• RQ4 感情の停滞、やる気の低下、職場関連のストレス症状を軽減するため、感情モニタリングシステムは有効であるか？
• RQ5 行動的および生理的信号のうち、どの組み合わせがユーザーのウェルネス状態を最も正確にリアルタイムで評価できるか？

主な発見

• テスト対象者は、感情状態を的確に検出し、適切なタイミングで関連性の高いウェルネス介入を提供できる点について肯定的なフィードバックを示した。
• 顔の表情、キーストローク、眼動追跡、身体の姿勢といった複数モダリティの統合により、単一モダリティ手法に比べ、感情検出の精度が向上した。
• ユーザーはデスクワーク用の運動やストレス軽減ゲームに対して好意的な反応を示し、精神的疲労の軽減と集中力の向上を報告した。
• キーストロークのダイナミクスと作業の中断パターンを分析することで、関与度の低い時期や感情的苦痛の兆候を効果的に特定できた。
• 励ましの言葉とリアルタイムフィードバックの導入により、やる気の向上と感情的レジリエンスの強化が感じられた。
• 予備的な結果から、非侵襲的かつ継続的なモニタリングが、座り仕事の環境における持続的な感情的・身体的ウェルネスの維持に貢献できる可能性がある。