[論文レビュー] SSHFD: Single Shot Human Fall Detection with Occluded Joints Resilience

Umar Asif, Stefan von Cavallar+2 more|arXiv (Cornell University)|Apr 2, 2020

Context-Aware Activity Recognition Systems参考文献 16被引用数 8

ひとこと要約

SSHFD は、外見や視点に依存しないポーズベースの表現を活用し、部分的遮蔽下でも精度を維持するための遮蔽関節耐性（OJR）モジュールを備えた、1枚のRGB画像から人間の転倒を検出するワンショットディープラーニングフレームワークである。合成データからの知識の転送により、実世界の未観測環境においても最先端の一般化性能を達成し、関節欠失に対して高い耐性を示す。

ABSTRACT

Falling can have fatal consequences for elderly people especially if the fallen person is unable to call for help due to loss of consciousness or any injury. Automatic fall detection systems can assist through prompt fall alarms and by minimizing the fear of falling when living independently at home. Existing vision-based fall detection systems lack generalization to unseen environments due to challenges such as variations in physical appearances, different camera viewpoints, occlusions, and background clutter. In this paper, we explore ways to overcome the above challenges and present Single Shot Human Fall Detector (SSHFD), a deep learning based framework for automatic fall detection from a single image. This is achieved through two key innovations. First, we present a human pose based fall representation which is invariant to appearance characteristics. Second, we present neural network models for 3d pose estimation and fall recognition which are resilient to missing joints due to occluded body parts. Experiments on public fall datasets show that our framework successfully transfers knowledge of 3d pose estimation and fall recognition learnt purely from synthetic data to unseen real-world data, showcasing its generalization capability for accurate fall detection in real-world scenarios.

研究の動機と目的

• 外見、視点、遮蔽、背景のごみの変動による、視覚ベースの転倒検出システムの未観測実世界環境への一般化不足に対処すること。
• 複数フレームのシーケンスやウェアラブルセンサーに依存しない、1枚の画像からの動作を想定した転倒検出フレームワークの開発。
• 身体的外見、照明、空間的位置に依存しないポーズベースの転倒表現の構築により、環境間の転送性を向上させること。
• 欠損または遮蔽された関節に対しても正確に動作する3Dポーズ推定および転倒認識のためのニューラルネットワークの設計。
• 完全に合成データからのみ学習したモデルが、実世界の公開データセットへとゼロショット転送され、実世界の微調整なしに転倒検出が成功することの実証。

提案手法

• フレームワークは、1枚のRGB画像から2次元人体ポーズを予測するスタックドアワーガラスネットワークを用い、人間の候補領域を入力として生成する。
• 3次元ポーズ推定ネットワークは、2次元ポーズ予測値を3次元関節座標に変換し、欠損関節に対処するための新規の遮蔽関節耐性（OJR）モジュールを採用する。
• OJRモジュールは、アテンション機構と学習可能なリプルス接続を統合し、欠損した関節位置の再構成と特徴の完全性の維持を実現する。
• 転倒認識は、2次元および3次元ポーズ表現を統合する融合ネットワークによって実施され、ポーズの曖昧さや遮蔽下でも堅牢な分類を可能にする。
• パイプライン全体は合成データのみで訓練され、実世界の多様性を模倣するためのドメインランダマイゼーションとデータ拡張が適用される。
• 関節表現のための2ブランチアーキテクチャを活用：1つは画像空間における2次元ポーズ、もう1つはカーテシアン空間における3次元ポーズで、両者とも外見および視点に依存しないように最適化される。

実験結果

リサーチクエスチョン

• RQ1 実世界のトレーニングデータを一切必要とせず、未観測の実世界環境へ一般化可能なワンショット転倒検出システムは構築可能か？
• RQ2 ポーズベースの転倒表現は、外見、照明、視点の変動に対してどれほど不変性を達成できるか？
• RQ3 合成データで学習したニューラルネットワークは、遮蔽された関節を含む実世界シナリオにおいて、どれほど効果的に転倒を認識できるか？
• RQ4 提案された遮蔽関節耐性（OJR）モジュールは、標準モデルと比較して、欠損関節入力下での性能をどの程度向上させるか？
• RQ5 合成データで学習した3次元ポーズ推定ネットワークは、実世界の設定において不完全な2次元ポーズ入力から正確な3次元関節位置を回復できるか？

主な発見

• MultiCam データセットでは、OJRベースのモデルが8つの関節が欠損している状況で、非OJRモデルと比較してF1スコアを最大35%向上させた。
• Le2i 転倒データセットでは、同じ8つの関節欠損条件下でOJRベースのモデルがF1スコアで40%の向上を達成した。
• OJRを搭載した3D PoseNetは、7つの関節が欠損している状況で、平均ポーズ誤差をOJRなしの464.16 mm から34.21 mm まで低減し、優れた回復能力を示した。
• フレームワークは、合成データのみで学習したにもかかわらず、実世界データセットで高い転倒認識精度を達成し、強力なゼロショット一般化能力を実証した。
• 定性的な結果から、OJR搭載モデルは顕著な遮蔽下でも転倒イベントを正しく分類するのに対し、ベースラインモデルは同様の条件下で失敗することが明らかになった。
• 提案された2次元および3次元ポーズベースの表現は、ノイズや不完全な入力データ下でも、スケルトンベースの視覚表現を上回る性能を示した。