[論文レビュー] Human activity recognition from mobile inertial sensors using recurrence plots

Otávio A. B. Penatti, Milton F. S. Santos|arXiv (Cornell University)|Dec 5, 2017

Context-Aware Activity Recognition Systems参考文献 1被引用数 5

ひとこと要約

本稿では、モバイルインertialセンサデータから抽出された再帰プロット（RPs）を用いた、人間の活動認識のための新規手法を提案する。センサ分類を視覚的特徴量に基づくテクスチャ分類に変換することで、RGB RPs（各色チャンネルが加速度計の軸に対応）を用い、Bag of Visual Words（BoVW）とRGB SIFT特徴量を組み合わせることで、従来の時間領域および周波数領域特徴量を上回る最先端の精度を達成した。

ABSTRACT

Inertial sensors are present in most mobile devices nowadays and such devices are used by people during most of their daily activities. In this paper, we present an approach for human activity recognition based on inertial sensors by employing recurrence plots (RP) and visual descriptors. The pipeline of the proposed approach is the following: compute RPs from sensor data, compute visual features from RPs and use them in a machine learning protocol. As RPs generate texture visual patterns, we transform the problem of sensor data classification to a problem of texture classification. Experiments for classifying human activities based on accelerometer data showed that the proposed approach obtains the highest accuracies, outperforming time- and frequency-domain features directly extracted from sensor data. The best results are obtained when using RGB RPs, in which each RGB channel corresponds to the RP of an independent accelerometer axis.

研究の動機と目的

• 動的パターンを捉える新しい表現を用いて、モバイルインエラシャルセンサデータから人間の活動を正確に認識する課題に対処すること。
• 再帰プロット（RPs）が、インエラシャルセンサ時系列データをテクスチャパターンとして効果的に表現できるかどうかを検証すること。
• 特に、SIFTを用いたBag of Visual Words（BoVW）の視覚的特徴量が、再帰プロット（RPs）に対して人間の活動認識の分類性能に与える影響を評価すること。
• 従来の時間領域および周波数領域特徴抽出手法と比較して、提案手法の分類精度および頑健性を評価すること。
• 類似した人間の活動を区別するのに最も効果的なRP設定（例：グレースケール対RGB）および特徴エンコーディング戦略（例：空間ピラミッド）を同定すること。

提案手法

• 動的システムの再帰的性質を2次元画像として表現する再帰プロット（RPs）を、生の加速度計時系列データから計算する。
• 各加速度計軸（x, y, z）を別々の色チャンネルに割り当てることで、RGB RPsを生成し、1枚の画像に多次元センサ情報を保持する。
• RPsからRGB SIFT（スケール不変特徴変換）を用いて低レベルの視覚的特徴量を抽出し、局所的なテクスチャ特性を捉える。
• 空間ピラミッドマッチング（SPM）と最大プーリングを組み合わせて、視覚的特徴量の空間的配置をエンコードし、類似活動の区別を向上させる。
• RPsを機械学習分類のためのヒストグラムとして表現するために、k=1000の視覚的コードブッククラスタを用いたBoVWを適用する。
• SVMなどの機械学習分類器を、BoVWエンコード済み特徴量上で学習および評価し、加速度計データから12種類の人の活動を分類する。

実験結果

リサーチクエスチョン

• RQ1 再帰プロットが、人間の活動認識精度を向上させるために、インエラシャルセンサ時系列データをテクスチャ画像に効果的に変換できるか？
• RQ2 各色チャンネルが加速度計軸に対応するRGB RPsを用いることで、グレースケールRPsや連結RPsよりも高い性能が得られるか？
• RQ3 BoVWにRGB SIFTと空間ピラミッドプーリングを組み合わせた手法が、従来の時間領域および周波数領域特徴抽出手法と比較して、どのように性能を発揮するか？
• RQ4 どの人間の活動が最も区別が難しく、特に「椅子に座る」と「椅子から立ち上がる」のような類似活動の間の誤分類を、提案手法が減少させるか？
• RQ5 提案手法のRPベースの視覚的特徴量アプローチが、ベースライン手法に比べて統計的に有意な性能優位性を示すか？

主な発見

• RGB RPsとRGB SIFTおよび空間ピラミッドを用いたBoVWを組み合わせた提案手法が、全評価手法の中で最高の分類精度を達成した。
• RP-RGB $BoVW^{1000}_{RGBSIFT}$手法は、時間領域（分位数）および周波数領域（dftbands）のベースラインを著しく上回り、全クラスで統計的に有意な改善（p < 0.05）を示した。
• 交差誤分類行列の結果、最も困難な活動ペアは「椅子に座る」と「椅子から立ち上がる」であり、最高性能を示した手法でも誤分類率が最も高かった。
• 「歯を磨く」「髪をとかす」「電話を使う」などの活動は、訓練データが少ないにもかかわらず分類が最も簡単だったが、これは限られたデータでも頑健であることを示唆している。
• BoVWフレームワークに空間ピラミッドを組み込むことで、RPs内のテクスチャパターンの空間的配置をエンコードし、類似活動の区別が向上した。
• 対応した統計的仮説検定により、RGB RPs上の$BoVW^{1000}_{RGBSIFT}$が、他のすべての手法を上回ることが確認され、性能差の95％信頼区間がすべて0より上に位置していた。