[論文レビュー] Unstructured Handwashing Recognition using Smartwatch to Reduce Contact Transmission of Pathogens

Emanuele Lattanzi, Lorenzo Calisti+1 more|arXiv (Cornell University)|Jul 28, 2021

COVID-19 diagnosis using AI参考文献 50被引用数 17

ひとこと要約

本稿では、商業用スマートウォッチの慣性センサ（加速度計およびジャイロスコープ）のデータを用いて、非構造的な手洗いおよびアルコール消毒を認識するスマートウォッチベースの機械学習システムを提案する。標準的およびディープラーニングモデルを2つのデータセットで評価し、分類精度が94〜95％に達した。エッジデプロイ可能なモデル（例：SVM）により、クラウド依存なしにプライベートでリアルタイムかつ継続的な衛生状態監視が可能であることが示された。

ABSTRACT

Current guidelines from the World Health Organization indicate that the SARS-CoV-2 coronavirus, which results in the novel coronavirus disease (COVID-19), is transmitted through respiratory droplets or by contact. Contact transmission occurs when contaminated hands touch the mucous membrane of the mouth, nose, or eyes so hands hygiene is extremely important to prevent the spread of the SARSCoV-2 as well as of other pathogens. The vast proliferation of wearable devices, such as smartwatches, containing acceleration, rotation, magnetic field sensors, etc., together with the modern technologies of artificial intelligence, such as machine learning and more recently deep-learning, allow the development of accurate applications for recognition and classification of human activities such as: walking, climbing stairs, running, clapping, sitting, sleeping, etc. In this work, we evaluate the feasibility of a machine learning based system which, starting from inertial signals collected from wearable devices such as current smartwatches, recognizes when a subject is washing or rubbing its hands. Preliminary results, obtained over two different datasets, show a classification accuracy of about 95% and of about 94% for respectively deep and standard learning techniques.

研究の動機と目的

• スマートウォッチから得られる慣性信号を用いて、非侵襲的かつウェアラブルなシステムにより、非構造的な手洗いおよびアルコール消毒を検出すること。
• 高い被験者間ばらつきおよび微小な動きの影響を受ける中で、機械学習モデルが手洗い関連活動を認識可能かどうかを評価すること。
• 精度と計算効率の観点から、標準的学習（SVM、ERS-KNN）とディープラーニング（LSTM、CNN）モデルを比較すること。
• ジャイロスコープデータの追加が、計算コストを増加させることなく、軽量モデルの性能を向上させるかどうかを評価すること。
• クラウド処理を回避することでプライバシーの向上と遅延の低減を図る、エッジベースの推論を可能にすること。

提案手法

• システムは、日常の活動中に手首に装着されたスマートウォッチから得られる慣性信号（加速度計およびジャイロスコープ）を収集する。
• 生のセンサデータは固定長のウィンドウに分割され、zスコア正規化および主成分分析（PCA）を用いて前処理される。
• 4つの機械学習モデルを訓練する：サポートベクターマシン（SVM）、拡張受容領域K近傍法（ERS-KNN）、長短期記憶（LSTM）、畳み込みニューラルネットワーク（CNN）。
• 被験者および活動の両方にわたる汎化性能を評価するために、5分割交差検証戦略が用いられる。
• 2つのデータセット（アドホックデータセット（12名）およびDLAデータセット）を用い、ジャイロスコープデータ有無の両方でモデルを評価する。
• 標準指標を用いて性能を測定する：正解率、適合率、再現率、F1スコア。

実験結果

リサーチクエスチョン

• RQ1 商業用スマートウォッチから収集した慣性信号を用いて、標準的およびディープラーニングモデルが非構造的な手洗いおよびアルコール消毒を正確に分類できるか？
• RQ2 ジャイロスコープデータの追加が、SVM や ERS-KNN といった軽量モデルの分類精度にどのように影響するか？
• RQ3 SVM などのエッジデプロイ可能なモデルは、メモリ使用量と推論時間を最小限に抑えることで、リアルタイムかつデバイス内での処理に適している高精度を達成できるか？
• RQ4 被験者固有の分類タスクと被験者間分類タスクの間で、モデルの性能にどのような差が生じるか？
• RQ5 被験者間の差異および非構造的な動きパターンは、従来のアクティビティ認識アプローチにどの程度の挑戦をもたらすか？

主な発見

• 提案されたシステムは、アドホックデータセットにおいてディープラーニングモデル（CNNおよびLSTM）を用いることで約95％、標準的学習モデル（SVMおよびERS-KNN）を用いることで94％の分類精度を達成した。
• DLAデータセットでは、最高性能を示したモデル（ERS-KNN）が95.9％の精度を示し、SVMは94.6％であった。これは、多様な被験者および条件下でも高いロバストネスを示している。
• ジャイロスコープデータの追加により、SVM や ERS-KNN といった標準的モデルの性能が顕著に向上し、計算コストを増加させることなく、より深いモデルと同等の精度に到達した。
• SVM は、精度、低メモリ使用量、高速な推論時間のバランスが最も優れており、エッジデプロイメントに適しており、クラウドインfraの依存を低減するのに適している。
• 混同行列の結果、手洗いの誤分類は主に「その他の活動」として誤ってラベル付けされていることが示され、ターゲットのジェスチャーを強く識別できる能力があることが裏付けられた。
• 被験者分類の性能はアクティビティ分類を上回っており、ERS-KNN は95.9％の精度を達成した。これは、この文脈において、個々の動きのパターンの方が活動タイプよりも明確に区別可能であることを示唆している。