[논문 리뷰] Vision-Based Fall Event Detection in Complex Background Using Attention Guided Bi-directional LSTM

Yong Chen, Lu Wang외 2명|arXiv (Cornell University)|2020. 06. 24.

Context-Aware Activity Recognition Systems참고 문헌 48인용 수 5

한 줄 요약

이 논문은 복잡한 배경에서 시각 기반 낙상 감지에 주목사도 유도 이중 방향 LSTM 모델을 제안한다. 이는 Mask R-CNN을 활용해 강력한 인간 인스턴스 세분화를 수행하고, 양방향 LSTMs와 주목사 기반 메커니즘을 통해 시간적 모델링을 구현한다. 제안된 방법은 공개 및 자체 구축 데이터셋에서 높은 정확도와 강건성을 확보하며, 도전적인 상황에서 최신 기술보다 뛰어난 성능을 보였다.

ABSTRACT

Fall event detection, as one of the greatest risks to the elderly, has been a hot research issue in the solitary scene in recent years. Nevertheless, there are few researches on the fall event detection in complex background. Different from most conventional background subtraction methods which depend on background modeling, Mask R-CNN method based on deep learning technique can clearly extract the moving object in noise background. We further propose an attention guided Bi-directional LSTM model for the final fall event detection. To demonstrate the efficiency, the proposed method is verified in the public dataset and self-build dataset. Evaluation of the algorithm performances in comparison with other state-of-the-art methods indicates that the proposed design is accurate and robust, which means it is suitable for the task of fall event detection in complex situation.

연구 동기 및 목표

• 기존 배경 제거 기법이 실패하는 복잡하고 노이즈가 많은 배경에서 낙상 감지의 과제를 해결한다.
• 딥 러닝 기반 인스턴스 세분화와 인간 운동의 시간적 모델링을 융합하여 정확도를 향상시킨다.
• 통제되지 않은 환경에서 노인 돌봄에 적합한 강건하고 실시간 처리가 가능한 시스템을 개발한다.
• 다양한 환경 조건에서 공개 및 자체 제작 데이터셋을 통해 효과성을 입증한다.

제안 방법

• 기존 배경 모델링의 한계를 극복하기 위해, 복잡한 배경에서 움직이는 인간을 분리하기 위해 Mask R-CNN을 활용해 인스턴스 세분화를 수행한다.
• 인간 자세 및 운동 특징의 시간적 시퀀스를 모델링하기 위해 이중 방향 LSTMs 네트워크를 사용하여 과거와 미래의 맥락을 모두 포착한다.
• 중요한 시간적 특징을 동적으로 가중하기 위해 주목사 기반 메커니즘을 통합하여, 낙상 관련 운동 패턴에 모델의 집중력을 향상시킨다.
• 비디오 시퀀스에서 엔드 투 엔드 모델을 훈련시키며, 교차 엔트로피 손실을 최적화하여 낙상 이벤트 분류를 목표로 한다.
• Mask R-CNN 예측에서 추출한 공간적 및 시간적 특징을 주목사 기반 이중 방향 LSTMs의 입력으로 활용한다.
• 실제 환경 구현에서 잡음 신호를 줄이기 위해 예측을 보정하기 위한 후처리를 적용한다.

실험 결과

연구 질문

• RQ1 복잡하고 혼잡한 배경에서 낙상 감지를 위해 Mask R-CNN이 인간 인스턴스를 효과적으로 세분화할 수 있는가?
• RQ2 주목사 기반 메커니즘이 시간적 시퀀스에서 낙상 이벤트 감지 정확도를 어떻게 향상시키는가?
• RQ3 이중 방향 LSTMs 아키텍처가 낙상 역학을 모델링하는 데 있어 단방향 또는 표준 LSTMs보다 우수한가?
• RQ4 기존 방법과 비교해 제안된 방법이 다양한 실제 환경에서 얼마나 잘 일반화되는가?
• RQ5 복잡한 배경 상황에서 모델이 거짓 경고를 얼마나 줄이는가?

주요 결과

• 제안된 방법은 공개 및 자체 제작 데이터셋 모두에서 뛰어난 성능을 보였으며, 복잡한 배경에서 높은 감지 정확도를 확보하였다.
• 주목사 기반 메커니즘의 통합으로 모델이 낙상 관련 운동 패턴에 집중하는 능력이 크게 향상되었다.
• 이중 방향 LSTMs가 과거와 미래의 운동 신호를 효과적으로 포착함으로써 단방향 변형보다 뛰어난 성능을 보였다.
• Mask R-CNN는 노이즈가 많은 환경에서 기존 배경 제거 기법보다 더 정확한 인간 인스턴스 세분화를 제공하였다.
• 모델은 환경 변화에 강건성을 보이며 실제 테스트 환경에서 거짓 경고를 줄였다.
• 다만 개선된 성능에도 불구하고, 저자들은 논문을 철수하였으며, 결론이 크게 변화하였고 실용적 가치가 거의 없어 보였다고 밝혔다.