[論文レビュー] Seq2Seq RNN based Gait Anomaly Detection from Smartphone Acquired Multimodal Motion Data

Riccardo Bonetto, Mattia Soldan+3 more|arXiv (Cornell University)|Nov 19, 2019

Gait Recognition and Analysis被引用数 5

ひとこと要約

本論文では、スマートフォンを用いてマルチモーダルなインertial（加速度計、ジャイロスコープ）およびビデオデータを収集することで、被験者固有の歩行異常検出システムを提案する。2段階のディープラーニングアーキテクチャを採用：歩行シーケンスからの教師なし特徴抽出のためのRNNベースのSeq2Seqモデル、その後にCNN分類器を適用。テストデータにおいて100%の異常検出精度を達成し、SVMベースラインを上回った。

ABSTRACT

Smartphones and wearable devices are fast growing technologies that, in conjunction with advances in wireless sensor hardware, are enabling ubiquitous sensing applications. Wearables are suitable for indoor and outdoor scenarios, can be placed on many parts of the human body and can integrate a large number of sensors capable of gathering physiological and behavioral biometric information. Here, we are concerned with gait analysis systems that extract meaningful information from a user's movements to identify anomalies and changes in their walking style. The solution that is put forward is subject-specific, as the designed feature extraction and classification tools are trained on the subject under observation. A smartphone mounted on an ad-hoc made chest support is utilized to gather inertial data and video signals from its built-in sensors and rear-facing camera. The collected video and inertial data are preprocessed, combined and then classified by means of a Recurrent Neural Network (RNN) based Sequence-to-Sequence (Seq2Seq) model, which is used as a feature extractor, and a following Convolutional Neural Network (CNN) classifier. This architecture provides excellent results, being able to correctly assess anomalies in 100% of the cases, for the considered tests, surpassing the performance of support vector machine classifiers.

研究の動機と目的

• 市販のスマートフォンを用いた軽量で非侵襲的な歩行異常検出システムの開発を目的とする。
• 低コストのマルチモーダルセンサデータを用いて、運動機能障害を示す微細な歩行パターンのずれを検出する課題に対処することを目的とする。
• 個々の歩行パターンを学習する被験者固有のアプローチを設計し、正常な歩行と異常な歩行を区別することを目的とする。
• より良い一般化性能とオンライン適合性を実現するため、従来の分類器（SVMなど）を上回るディープラーニングの利点を活用することを目的とする。
• 自由な生活状況下での継続的健康モニタリングを可能にするために、リアルタイムで端末上で動作する歩行分析の実装を目的とする。

提案手法

• 被験者にカスタム胸当てに取り付けたスマートフォンが、歩行中に同期されたインertial（9D：3D加速度計、3Dジャイロスコープ、3D磁力計）およびビデオデータを収集する。
• 前処理として、インエントリおよびビデオ信号の時間的整合性を保ち、統合されたマルチモーダルシーケンスに統合する。
• Sequence-to-Sequence（Seq2Seq）再帰的ニューラルネットワーク（RNN）を教師なしで訓練し、歩行サイクルの潜在的な時間的ダイナミクスを学習する。
• RNNは特徴抽出器として機能し、入力シーケンスから各歩行サイクルの潜在的表現を生成する。
• RNNで学習された特徴量を用いて、畳み込みニューラルネットワーク（CNN）分類器を訓練し、正常な歩行パターンと異常な歩行パターンを区別する。
• エンドツーエンドのモデルは、最終分類器のためのラベル付きデータでのみ訓練されるが、RNNは正常な歩行シーケンスでの再構成誤差を用いた教師なし事前学習が行われる。

実験結果

リサーチクエスチョン

• RQ1 Seq2Seq RNNベースのアーキテクチャは、マルチモーダルなスマートフォンによる歩行データから、異常検出に適した特徴を効果的に抽出できるか？
• RQ2 提案された2段階のディープラーニングモデルの性能は、SVMなどの従来の分類器と比較してどうなるか？
• RQ3 被験者固有の教師なし特徴学習アプローチは、完全に教師ありまたはヒューリスティック手法と比較して、どれほど検出精度を向上させられるか？
• RQ4 本システムは、一般消費者向けスマートフォン上でリアルタイムで端末上で実行可能か？
• RQ5 事前に異常タイプの知識がなくても、モデルはさまざまな種類の歩行異常を一般化して検出できるか？

主な発見

• RNN-Seq2Seq特徴抽出器とCNN分類器を組み合わせた2段階モデルは、歩行異常検出においてテストセットで100%の分類精度を達成した。
• ベースラインのSVM分類器（98.077%の精度）は、保守的バイアスを示し、正常サイクルの5.8%を誤って異常と分類していたのに対し、本モデルはそれを上回った。
• RNNベースの特徴抽出法は、歩行シーケンス内の複雑な時間的相関を効果的に捉えており、正常パターンと異常パターンの優れた区別を可能にした。
• 本システムは、Asus ZenFone 2を含む市販のスマートフォンに実装可能であり、ユーザーの設定なしでリアルタイムで端末上で動作可能である。
• 正常な歩行シーケンスでのRNNの教師なし事前学習により、大量のラベル付き異常データへの依存が軽減され、実世界への実装における実用性が向上した。
• 本アーキテクチャは、ウェアラブルベースの歩行分析において一般的な課題であるセンサの向きのばらつきやノイズに対して、頑健性を示した。