[論文レビュー] Vision-Based Fall Event Detection in Complex Background Using Attention Guided Bi-directional LSTM

Yong Chen, Lu Wang+2 more|arXiv (Cornell University)|Jun 24, 2020

Context-Aware Activity Recognition Systems参考文献 48被引用数 5

ひとこと要約

本稿では、複雑な背景における視覚ベースの転倒検出のための注目メカニズムを用いた双方向LSTMモデルを提案する。Mask R-CNNを用いて頑健な人体インスタンス分離を実現し、双方向LSTMと注目メカニズムを組み合わせた時系列モデリングを実施する。本手法は、公開データセットおよび自作データセットにおいて高い精度と頑健性を達成し、困難な状況下でも最先端の手法を上回る性能を示した。

ABSTRACT

Fall event detection, as one of the greatest risks to the elderly, has been a hot research issue in the solitary scene in recent years. Nevertheless, there are few researches on the fall event detection in complex background. Different from most conventional background subtraction methods which depend on background modeling, Mask R-CNN method based on deep learning technique can clearly extract the moving object in noise background. We further propose an attention guided Bi-directional LSTM model for the final fall event detection. To demonstrate the efficiency, the proposed method is verified in the public dataset and self-build dataset. Evaluation of the algorithm performances in comparison with other state-of-the-art methods indicates that the proposed design is accurate and robust, which means it is suitable for the task of fall event detection in complex situation.

研究の動機と目的

• 従来の背景差分法が失敗する複雑でノイズの多い背景において、転倒検出の課題に対処すること。
• 深層学習に基づくインスタンス分離と人体運動の時系列モデリングを統合することで、検出精度を向上させること。
• 制御されていない環境における高齢者ケアに適した、頑健でリアルタイム対応可能なシステムを開発すること。
• 多様な環境条件下で、公開および自作データセットの両方において有効性を実証すること。

提案手法

• 従来の背景モデリングの限界を克服するため、複雑な背景から動く人体を分離するためにMask R-CNNを用いたインスタンス分離を実施する。
• 人体ポーズおよび運動特徴の時系列系列をモデリングするため、双方向LSTMネットワークを用いる。過去および未来の文脈を捉える。
• 注目メカニズムを統合し、重要な時系列特徴に動的に重みを付与することで、転倒関連の運動パターンへのモデルの注目を強化する。
• 交差エントロピー損失を最適化するように、ビデオシーケンス上でエンドツーエンドのモデルを学習する。
• Mask R-CNNの予測から抽出した空間的および時系列的特徴を、注目メカニズムを用いた双方向LSTMの入力として利用する。
• 実運用における誤検出を低減するために、予測結果の後処理を実施する。

実験結果

リサーチクエスチョン

• RQ1 複雑でごみだらけの背景において、Mask R-CNNは転倒検出のための人体インスタンス分離を効果的に行えるか？
• RQ2 注目メカニズムは、時系列の転倒イベント検出精度をどのように向上させるか？
• RQ3 双方向LSTMアーキテクチャは、単方向または標準的なLSTMと比較して、転倒ダイナミクスのモデリングにおいて優れているか？
• RQ4 既存の手法と比較して、本手法は多様な現実世界の環境にどのように一般化するか？
• RQ5 複雑な背景状況下で、本モデルは誤検出をどの程度低減できるか？

主な発見

• 提案手法は、公開データセットおよび自作データセットの両方で優れた性能を示し、複雑な背景下でも高い検出精度を達成した。
• 注目メカニズムの統合により、モデルが重要な転倒関連の運動パターンに注目する能力が顕著に向上した。
• 双方向LSTMは、過去および未来の運動の手がかりを効果的に捉えることができ、単方向バージョンを上回った。
• ノイズの多い環境下でも、従来の背景差分法よりもMask R-CNNがより正確な人体インスタンス分離を実現した。
• モデルは環境の変動に対して頑健であり、現実世界のテスト環境でも誤検出が低減した。
• 改善が見られたが、著者らは最終的に論文を撤回し、結論が大幅に変更され、実用的価値がほとんどないと述べた。