[論文レビュー] EmoSens: Emotion Recognition based on Sensor data analysis using LightGBM

S Gayathri, Akshat Anand+5 more|arXiv (Cornell University)|Jul 12, 2022

Emotion and Mood Recognition被引用数 4

ひとこと要約

本稿では、スマートウェアラブルデバイスのセンサーデータと教師あり機械学習を用いて、低コストでユーザー中心の感情認識システム「EmoSens」を提案する。DREAMERデータセットを用い、LightGBMとXGBoostを活用することで、9つの感情クラスを分類する精度が92.5%に達し、リアルタイムの気分モニタリング応用において、計算コストが低く、高い性能を示している。

ABSTRACT

Smart wearables have played an integral part in our day to day life. From recording ECG signals to analysing body fat composition, the smart wearables can do it all. The smart devices encompass various sensors which can be employed to derive meaningful information regarding the user's physical and psychological conditions. Our approach focuses on employing such sensors to identify and obtain the variations in the mood of a user at a given instance through the use of supervised machine learning techniques. The study examines the performance of various supervised learning models such as Decision Trees, Random Forests, XGBoost, LightGBM on the dataset. With our proposed model, we obtained a high recognition rate of 92.5% using XGBoost and LightGBM for 9 different emotion classes. By utilizing this, we aim to improvise and suggest methods to aid emotion recognition for better mental health analysis and mood monitoring.

研究の動機と目的

• 市販のスマートウェアラブルセンサーデータを用いて、費用対効果が高く、ユーザー中心の感情認識システムを開発すること。
• ECGや他の生理的信号を用いた感情分類において、LightGBM や XGBoost を含む複数の教師あり機械学習モデルの性能を評価すること。
• DREAMERデータセットのECGおよびその他の生理的信号を用いて、9つの明確な感情クラスを高精度に認識すること。
• 低コストの計算負荷で実現可能なリアルタイムのデバイス内での感情モニタリングを可能とし、将来的にはフェデレーテッドラーニングを統合してプライバシーを強化すること。

提案手法

• 本研究では、感情誘発刺激中にECGなどの生理的信号を収集したDREAMERデータセットを用いる。感情の自己報告はSelf Assessment Manikin（SAM）尺度を用いて行われる。
• 前処理として、ECGおよびその他のセンサ信号のノイズ低減と正規化を実施し、信号の品質と一貫性を向上させる。
• 感情状態を表現するためのキーフィーチャーとして、心拍変動量（HRV）および時間領域・周波数領域特徴量を抽出する。
• 抽出された特徴量を用いて、LightGBM、XGBoost、ランダムフォレスト、決定木、SVM、ニューラルネットワークなどの複数の教師あり学習モデルを訓練・評価する。
• 特に決定木とランダムフォレストの性能を最適化するため、ハイパーパramータチューニングを実施し、それぞれ精度を5%および0.9%向上させた。
• エッジデバイスへのデプロイを想定したフレームワーク設計であり、将来的にはフェデレーテッドラーニングを統合して、デバイス内での学習を可能とし、ユーザーのプライバシーを保護する。

実験結果

リサーチクエスチョン

• RQ1 スマートウェアラブルの生理的センサーデータを用いて、LightGBM や XGBoost は9つの明確な感情クラスを効果的に分類できるか？
• RQ2 ECGおよび関連信号を用いた感情認識において、異なる教師あり機械学習モデルの精度と計算効率はどのように比較されるか？
• RQ3 ハイパーパramータチューニングは、決定木やランダムフォレストのような木ベースのモデルの性能をどの程度向上させるか？
• RQ4 低コストでエッジデバイスにデプロイ可能な感情認識システムは、計算コストを低く抑えつつ高い精度を達成できるか？
• RQ5 フェデレーテッドラーニングは、ウェアラブルセンサーデータを用いたリアルタイムの感情モニタリングにおいて、プライバシー保護とパーソナライゼーションをどのように強化できるか？

主な発見

• LightGBM と XGBoost は、9つの感情クラスを分類する精度が最高の92.5%を達成し、SVM やニューラルネットワークを上回った。
• ランダムフォレストはチューニング前の精度が91.39%であったが、ハイパーパramータ最適化後は92.22%に向上し、Fスコアも91.95%に改善された。
• 決定木はチューニング前の精度が87.5%であったが、ハイパーパramータチューニングで92.5%に向上し、最適化の可能性が顕著に示された。
• SVMモデル、特にRBF-SVMは中程度の性能を示し、精度は55.28%であったが、線形SVMは著しく性能が低く、データが線形分離不可能であることが示唆された。
• ニューラルネットワークとナイーブベイズは精度が45%未満にとどまり、この特定のデータセットとタスクには適していないことが判明した。
• LightGBM および XGBoost の学習曲線は、バリデーションセットで一貫した改善を示しており、良好な一般化性能とロバストネスを示している。