[論文レビュー] Home Activity Monitoring using Low Resolution Infrared Sensor

Lili Tao, Timothy N. Volonakis+4 more|arXiv (Cornell University)|Nov 13, 2018

Context-Aware Activity Recognition Systems参考文献 15被引用数 10

ひとこと要約

本稿では、8×8の低解像度赤外線センサアレイを用いた、プライバシーを守る家庭内活動モニタリングシステムを提案する。空間的・時間的特徴抽出に2次元離散コサイン変換（DCT）を活用し、その後SVM分類を実行する。新しいデータセットを用いた評価で、全体の認識精度は87.50%、転倒検出の感度は100%を達成し、日常的活動認識において優れた性能を示すとともに、ユーザーのプライバシーを確保している。

ABSTRACT

Action monitoring in a home environment provides important information for health monitoring and may serve as input into a smart home environment. Visual analysis using cameras can recognise actions in a complex scene, such as someones living room. However, although there the huge potential benefits and importance, specifically for health, cameras are not widely accepted because of privacy concerns. This paper recognises human activities using a sensor that retains privacy. The sensor is not only different by being thermal, but it is also of low resolution: 8x8 pixels. The combination of the thermal imaging, and the low spatial resolution ensures the privacy of individuals. We present an approach to recognise daily activities using this sensor based on a discrete cosine transform. We evaluate the proposed method on a state-of-the-art dataset and experimentally confirm that our approach outperforms the baseline method. We also introduce a new dataset, and evaluate the method on it. Here we show that the sensor is considered better at detecting the occurrence of falls and Activities of Daily Living. Our method achieves an overall accuracy of 87.50% across 7 activities with a fall detection sensitivity of 100% and specificity of 99.21%.

研究の動機と目的

• 視覚カメラに伴う倫理的・社会的懸念を避ける、プライバシーを守る家庭内モニタリングシステムの開発を目的とする。
• 8×8赤外線センサアレイを用いた、家庭環境における粗い粒度の人体活動認識の実現可能性を評価することを目的とする。
• 低解像度赤外線データを用いて、転倒および日常生活動作（ADL）を高精度に検出することを目的とする。
• 低解像度赤外線ベースの活動認識のための新しいベンチマークデータセット、Infra-ADL2018を提供することを目的とする。
• 提案手法のDCTベース特徴抽出法を、既存および新規のデータセット上でベースライン手法と比較し、性能の妥当性を検証することを目的とする。

提案手法

• 本システムは、天井に設置されたパナソニックのGrid-EYE 8×8赤外線センサアレイを用い、リアルタイムで熱画像データを取得する。
• 各フレームに対して2次元離散コサイン変換（DCT）を適用し、空間的特徴を抽出する。特に、DCT行列の左上隅の3×3係数に注目する。
• 時間的特徴は、連続する複数フレームにおけるDCT係数を連結することで得られ、運動のダイナミクスを表現する。
• 連結された空間的・時間的特徴を入力として、多クラス線形サポートベクターマシン（SVM）を訓練し、活動分類を実行する。
• コヴェントリー活動データセットでは10-fold交差検証、新規のInfra-ADL2018データセットでは1人を除いた交差検証（leave-one-subject-out）を用いて評価を行う。
• センサの低解像度および熱画像特性により、個人の特定が困難なため、自然にプライバシーが保護される。

実験結果

リサーチクエスチョン

• RQ1 8×8の低解像度赤外線センサアレイは、家庭環境において日常的な人体活動を効果的に認識できるか？
• RQ2 提案手法のDCTベース特徴抽出法は、ベースライン手法と比較して認識精度で優れているか？
• RQ3 このセンサーシステムは、高い感度と特異度で転倒イベントを検出できるか？
• RQ4 センサの設置位置や空間的解像度は、座る・立ち止まるという類似した活動の区別にどのように影響するか？
• RQ5 公開可能な新規データセット（Infra-ADL2018）は、低解像度赤外線ベースの活動認識の信頼できる評価を可能にするか？

主な発見

• 提案手法は、7つの異なる活動を含むInfra-ADL2018データセットで全体の認識精度87.50%を達成した。
• 転倒検出の感度は100%に達しており、テストセット内で転倒が1件も見逃されなかった。
• 転倒検出の特異度は99.21%であり、誤検出は非常に少ない。唯一「立った状態から座る」行動が偶発的に転倒と誤分類された。
• コヴェントリー活動データセットにおいて、提案手法はベースラインを顕著に上回り、特に「左から右へ移動」や「前後に前進・後退」などの運動量の多い活動で顕著な性能向上が見られた。
• 「座ったまま静止」および「立ったまま静止」という行動の混同は、天井設置のセンサが上から撮影する視点により、両者に類似した熱画像パターンが得られるためである。
• 複数のセンサ（S1, S2, S3）を用いることで、類似した姿勢を区別する性能が向上した。