[論文レビュー] Embedded Real-Time Fall Detection Using Deep Learning For Elderly Care

Hyunwoo Lee, Joo-Young Kim+2 more|arXiv (Cornell University)|Nov 30, 2017

Human Pose and Action Recognition参考文献 10被引用数 10

ひとこと要約

本稿では、動的ビジョンセンサー（DVS）データと、組み込みデプロイメントに最適化された新しいDVS時系列ネットワーク（DVS-TN）を用いた、リアルタイムでプライバシーを保護する軋み検出システムを提案する。DVS Fallsデータセットを構築し、NVIDIA Jetson TX1のCPUのみを用いて31.25 FPSで95.5%のF1スコアを達成した。DVSベースのディープラーニングにより、エッジデバイス上で高精度かつ低消費電力の軋み検出が可能であることが示された。

ABSTRACT

This paper proposes a real-time embedded fall detection system using a DVS(Dynamic Vision Sensor) that has never been used for traditional fall detection, a dataset for fall detection using that, and a DVS-TN(DVS-Temporal Network). The first contribution is building a DVS Falls Dataset, which made our network to recognize a much greater variety of falls than the existing datasets that existed before and solved privacy issues using the DVS. Secondly, we introduce the DVS-TN : optimized deep learning network to detect falls using DVS. Finally, we implemented a fall detection system which can run on low-computing H/W with real-time, and tested on DVS Falls Dataset that takes into account various falls situations. Our approach achieved 95.5% on the F1-score and operates at 31.25 FPS on NVIDIA Jetson TX1 board.

研究の動機と目的

• 従来のRGBカメラではなく、動的ビジョンセンサー（DVS）を用いることで、高齢者の軋み検出におけるプライバシー懸念を軽減すること。
• 計算リソースが限られた組み込みハードウェアに適した、リアルタイムで低消費電力の軋み検出システムを開発すること。
• 多様な軋みおよび非軋み行動を含む、包括的なDVS Fallsデータセットを構築し、モデルの一般化性能を向上させること。
• CPUオンliyの組み込みプラットフォーム上で高精度かつ低遅延の推論を実現するように最適化された深層学習モデル（DVS-TN）を設計すること。

提案手法

• 31名の被験者から得た1,860本のクリップを用いてDVS Fallsデータセットを構築し、前方・後方・左方・右方の4方向から、軋み・横たわり・座り・立ち・歩行・偽装軋みなどの行動を記録した。
• DVS画像（明るさの時間的変化を表す）を入力として使用し、RGB動画と比較して inherently プライバシーリスクが低減されることを実現した。
• TSN（時系列セグメントネットワーク）を基盤とするが、DVS入力を想定して、50フレームのDVSスニペットをスタックし、空間的・時系列的畳み込みネットワークを採用したDVS-TNモデルを設計した。
• モデル圧縮技術を適用：入力サイズを32×32に縮小、特徴を保持するための領域間補間、深度可分畳み込み、バッチ正則化層の統合により、推論コストを低減した。
• NVIDIA Jetson TX1上でCPU専用推論を最適化し、31.25 FPSのリアルタイム性能を達成した。
• バイリニア補間と領域補間の比較を実施し、解像度を低減した際の特徴損失を最小限に抑える最適な手法を選定した。

実験結果

リサーチクエスチョン

• RQ1 DVSベースのシステムは、ユーザーのプライバシーを保護しつつ、高精度なリアルタイム軋み検出を達成できるか？
• RQ2 組み込みシステムに適用した際、既存の行動認識モデルと比較して、カスタムDVS-TNモデルはどれほど有効であるか？
• RQ3 CPUオンリーエッジプラットフォーム上で31.25 FPSで高精度な軋み検出を実現するための、モデル圧縮および最適化技術は何か？
• RQ4 多様な軋みシナリオを含むDVSベースのデータセットは、従来のRGBベースのデータセットと比較して、モデルの頑健性を向上させられるか？

主な発見

• DVS-TNモデルはDVS Fallsデータセットで95.5%のF1スコアを達成し、高い検出精度を示した。
• NVIDIA Jetson TX1のCPUのみを用いて31.25 FPSで動作し、低消費電力ハードウェア上でリアルタイム動作を実現した。
• モデル最適化により、推論演算数を2.3Bから11.4Mに削減し、深度可分畳み込みで1.54倍の高速化、バッチ正則化統合で1.75倍の高速化を達成した。
• 32×32入力サイズにおいて、領域補間はバイリニア補間よりも特徴の整合性をよりよく保持し、高い精度を維持した。
• CPUにデプロイされた際、SOTAモデル（TSNやSqueezeNet）と比較して、DVS-TNモデルは速度とF1スコアの両面で優れていた。
• 558本の軋みクリップと多様な行動タイプを含むDVS Fallsデータセットにより、異なる軋みダイナミクスおよび視点に対しても頑健な一般化性能が実現された。