[논문 리뷰] SSHFD: Single Shot Human Fall Detection with Occluded Joints Resilience

Umar Asif, Stefan von Cavallar외 2명|arXiv (Cornell University)|2020. 04. 02.

Context-Aware Activity Recognition Systems참고 문헌 16인용 수 8

한 줄 요약

SSHFD는 단일 RGB 이미지에서 인간의軋む을 단일 스텝으로 탐지하기 위한 딥러닝 프레임워크로, 외관과 시점에 불변인 자세 기반 표현을 활용하며, 부분적 가림 상황에서도 정확도를 유지하기 위해 가림 관절 내성(Occluded Joints Resilience, OJR) 모듈을 적용한다. 순수 합성 데이터에서 실세계의 미사용 환경으로의 지식 전이를 통해 최신 기술 수준의 일반화 성능을 달성하며, 결손된 관절에 대해서도 높은 강건성을 확보한다.

ABSTRACT

Falling can have fatal consequences for elderly people especially if the fallen person is unable to call for help due to loss of consciousness or any injury. Automatic fall detection systems can assist through prompt fall alarms and by minimizing the fear of falling when living independently at home. Existing vision-based fall detection systems lack generalization to unseen environments due to challenges such as variations in physical appearances, different camera viewpoints, occlusions, and background clutter. In this paper, we explore ways to overcome the above challenges and present Single Shot Human Fall Detector (SSHFD), a deep learning based framework for automatic fall detection from a single image. This is achieved through two key innovations. First, we present a human pose based fall representation which is invariant to appearance characteristics. Second, we present neural network models for 3d pose estimation and fall recognition which are resilient to missing joints due to occluded body parts. Experiments on public fall datasets show that our framework successfully transfers knowledge of 3d pose estimation and fall recognition learnt purely from synthetic data to unseen real-world data, showcasing its generalization capability for accurate fall detection in real-world scenarios.

연구 동기 및 목표

• 외관, 시점, 가림, 배경 혼잡도 등의 변화로 인해 실세계의 새로운 환경에서 일반화 능력이 떨어지는 시각 기반 낙상 탐지 시스템의 문제를 해결하기 위해.
• 다중 프레임 시퀀스나 웨어러블 센서에 의존하지 않고 단일 이미지에서만 작동하는 낙상 탐지 프레임워크를 개발하기 위해.
• 신체 외관, 조명, 공간적 위치에 불변인 자세 기반 낙상 표현을 만들기 위해, 다양한 환경 간 이식성 향상을 위해.
• 결손되거나 가려진 관절이 존재하는 상황에서도 정확도를 유지하는 3D 자세 추정 및 낙상 인식을 위한 신경망을 설계하기 위해.
• 순수 합성 데이터에서 실세계 공개 데이터셋으로의 제로샷 전이 성공을 입증하기 위해.

제안 방법

• 프레임워크는 단일 RGB 이미지에서 2D 인간 자세를 예측하기 위해 스택드 아워글라스 네트워크를 사용하며, 이를 인간 제안 영역으로서의 입력으로 생성한다.
• 3D 자세 추정 네트워크는 2D 자세 예측 결과를 3D 관절 좌표로 변환하며, 결손된 관절을 처리하기 위해 새로운 가림 관절 내성(Occluded Joints Resilience, OJR) 모듈을 도입한다.
• OJR 모듈은 어텐션 메커니즘과 학습 가능한 잔차 연결을 통합하여 결손된 관절 위치를 복원하고 특징 무결성을 유지한다.
• 낙상 인식은 2D 및 3D 자세 표현을 융합하는 네트워크를 통해 수행되며, 자세의 모호성과 가림 상황에서도 강건한 분류 성능을 확보한다.
• 전체 파ip라인은 실세계 데이터를 사용하지 않고 순수하게 합성 데이터에서만 훈련되며, 도메인 랜덤라이제이션과 데이터 증강을 통해 실세계의 다양성을 시뮬레이션한다.
• 프레임워크는 관절 표현을 위한 이중 브랜치 아키텍처를 활용한다: 하나는 이미지 공간 내 2D 자세를, 다른 하나는 카르테시안 공간 내 3D 자세를 처리하며, 모두 외관과 시점에 대한 불변성을 최적화하기 위해 설계된다.

실험 결과

연구 질문

• RQ1 실세계 훈련 데이터 없이도 단일 스텝 낙상 탐지 시스템이 새로운 실세계 환경으로 일반화 가능한가?
• RQ2 자세 기반 낙상 표현이 외관, 조명, 시점 변화에 대해 얼마나 강건한가?
• RQ3 합성 데이터에서 훈련된 신경망이 관절이 가려진 실세계 시나리오에서 낙상을 얼마나 잘 인식할 수 있는가?
• RQ4 제안된 가림 관절 내성(Occluded Joints Resilience, OJR) 모듈이 표준 모델 대비 결손된 관절 입력 상황에서 성능을 얼마나 향상시키는가?
• RQ5 합성 데이터에서 훈련된 3D 자세 추정 네트워크가 실세계 환경에서 불완전한 2D 자세 입력으로부터 정확한 3D 관절 좌표를 복원할 수 있는가?

주요 결과

• MultiCam 데이터셋에서 OJR 기반 모델은 8개 관절 결손 조건에서 비-OJR 모델 대비 F1 점수를 최대 35% 향상시켰다.
• Le2i 낙상 데이터셋에서 OJR 기반 모델은 동일한 8개 관절 결손 조건에서 F1 점수를 40% 향상시켰다.
• OJR를 탑재한 3D PoseNet은 7개 관절이 결손된 상황에서 평균 자세 오차를 OJR 없이 464.16 mm에서 OJR 적용 후 34.21 mm로 감소시켜 강력한 복원 능력을 입증했다.
• 실세계 데이터셋에서 순수 합성 데이터에서만 훈련된 프레임워크는 높은 낙상 인식 정확도를 달성하여 강력한 제로샷 일반화 능력을 입증했다.
• 정성적 결과는 OJR 기반 모델이 심한 가림 조건에서도 낙상 사건을 정확히 분류하는 반면, 기준 모델은 유사 조건에서 실패하는 것으로 나타났다.
• 제안된 2D 및 3D 자세 기반 표현은 노이즈가 많거나 불완전한 입력 데이터 상황에서 스켈레톤 기반 시각 표현보다 낙상 인식 성능에서 뛰어난 성능을 보였다.