[論文レビュー] Personalized Step Counting Using Wearable Sensors: A Domain Adapted LSTM Network Approach

Arvind Pillai, Halsey Lea+2 more|arXiv (Cornell University)|Dec 11, 2020

Context-Aware Activity Recognition Systems被引用数 5

ひとこと要約

本論文では、最小限の被験者固有データを用いて、転移学習を活用して一般モデルを微調整することで、ウェアラブルセンサデータを用いたパーソナライズドステップカウントのためのドメイン適応LSTMネットワークを提案する。新しいデバイスおよび被験者集団に一般化されたモデルを適応させることで、約98.8%のステップカウント精度を達成し、個々の被験者およびデバイス間で高い精度と頑健性を示した。

ABSTRACT

Activity monitors are widely used to measure various physical activities (PA) as an indicator of mobility, fitness and general health. Similarly, real-time monitoring of longitudinal trends in step count has significant clinical potential as a personalized measure of disease related changes in daily activity. However, inconsistent step count accuracy across vendors, body locations, and individual gait differences limits clinical utility. The tri-axial accelerometer inside PA monitors can be exploited to improve step count accuracy across devices and individuals. In this study, we hypothesize: (1) raw tri-axial sensor data can be modeled to create reliable and accurate step count, and (2) a generalized step count model can then be efficiently adapted to each unique gait pattern using very little new data. Firstly, open-source raw sensor data was used to construct a long short term memory (LSTM) deep neural network to model step count. Then we generated a new, fully independent data set using a different device and different subjects. Finally, a small amount of subject-specific data was domain adapted to produce personalized models with high individualized step count accuracy. These results suggest models trained using large freely available datasets can be adapted to patient populations where large historical data sets are rare.

研究の動機と目的

• 異なるウェアラブルデバイスおよび個々の歩行パターンに一般化できるパーソナライズドステップカウントシステムの開発を目的とする。
• デバイスのばらつきおよび個々の歩行パターンの違いに起因するステップカウント精度の不一致という課題に対処すること。
• 事前学習済みの深層学習モデルが、少量のラベル付きデータを用いてパーソナライズドパフォーマンスに効果的に微調整可能かどうかを評価すること。
• 大規模な歴史的データセットが入手できない臨床現場において、転移学習の実用性を示すこと。

提案手法

• ステップ分類に、256ユニットのmany-to-one 256ユニットLSTMネットワークを用い、全結合層2層（512および256ユニット）とReLU活性化関数を適用した。
• 入力特徴量は、0.466秒間の三軸加速度計（g）およびジャイロスコープ（deg/sec）データのウィンドウであり、15Hzに再サンプリングされた。
• 各ウィンドウを左歩行または右歩行として分類するためのソフトマックス層を設け、遷移回数を合計ステップ数としてカウントした。
• ドメイン適応は、Pedometerデータセット（Shimmer3）で事前学習した一般モデルを、AZデータセット（ActiGraph GT9X Link）の被験者固有データをわずか30秒間用いて微調整することで実施した。
• 正解ラベルは動画確認によるアノテーションから得られたものであり、クラス精度およびステップカウント精度という指標を用いてモデルを評価した。
• 転移学習はドメイン適応を通じて実施され、ソース分布とターゲット分布に差異（P(X_S) ≠ P(X_T)）があるが、ラベル空間は同一であった。

実験結果

リサーチクエスチョン

• RQ1 大規模な公開データセットで学習した深層学習モデルは、最小限の適応で新しいウェアラブルデバイスおよび被験者に一般化可能か？
• RQ2 適応なしで一般モデルを新しいデバイスおよび被験者集団に適用した場合、性能はどの程度低下するか？
• RQ3 少量の被験者固有データを用いることで、ドメイン適応によりステップカウント精度はどの程度向上するか？
• RQ4 ドメイン適応モデルは、クロスデバイスおよびクロスサブジェクトの状況において、一般モデルを上回る性能を示せるか？

主な発見

• 一般LSTMモデル（LSTM-General I）は、ソースのPedometerデータセットで98.63%のステップカウント精度を達成し、強力なベースラインパフォーマンスを示した。
• 新しいデバイスおよび被験者集団（AZデータセット）でテストしたところ、一般モデルの精度はステップカウントで94.49%、クラス分類で60.01%に著しく低下し、デバイス間一般化性能が低いことが示された。
• 被験者固有データをわずか30秒間用いてドメイン適応を施した後、パーソナライズドモデル（LSTM-Personalized）は98.81%のステップカウント精度および91.76%のクラス精度を達成し、新しいデータセットにおいて一般モデルを上回った。
• パーソナライズドモデルの中央値パフォーマンスは一般モデルと同等であり、被験者間での効果的な適応が確認された。
• パーソナライズドモデルは、外れ値のケースにおいても性能低下を効果的に緩和し、個々の歩行パターンのばらつきに対して頑健であることが示された。
• 結果から、最小限のラベル付きデータで、転移学習を用いて臨床的に許容可能な精度のパーソナライズドステップカウントが達成可能であることが確認された。