[논문 리뷰] Embedded Real-Time Fall Detection Using Deep Learning For Elderly Care

Hyunwoo Lee, Joo-Young Kim외 2명|arXiv (Cornell University)|2017. 11. 30.

Human Pose and Action Recognition참고 문헌 10인용 수 10

한 줄 요약

이 논문은 임베디드 배포를 고려해 최적화된 DVS-Temporal Network(DVS-TN)를 사용하여 실시간으로 개인정보를 보호하는 낙상 탐지 시스템을 제안한다. DVS 데이터를 기반으로 하며, 새로운 DVS Falls Dataset을 구축하여 NVIDIA Jetson TX1에서 CPU만을 사용해 31.25 FPS에서 95.5%의 F1 스코어를 달성한다. 또한 DVS 기반 딥러닝이 엣지 디바이스에서 고정밀도, 저전력 낙상 탐지 가능성을 입증한다.

ABSTRACT

This paper proposes a real-time embedded fall detection system using a DVS(Dynamic Vision Sensor) that has never been used for traditional fall detection, a dataset for fall detection using that, and a DVS-TN(DVS-Temporal Network). The first contribution is building a DVS Falls Dataset, which made our network to recognize a much greater variety of falls than the existing datasets that existed before and solved privacy issues using the DVS. Secondly, we introduce the DVS-TN : optimized deep learning network to detect falls using DVS. Finally, we implemented a fall detection system which can run on low-computing H/W with real-time, and tested on DVS Falls Dataset that takes into account various falls situations. Our approach achieved 95.5% on the F1-score and operates at 31.25 FPS on NVIDIA Jetson TX1 board.

연구 동기 및 목표

• 기존 RGB 카메라 대신 동적 비전 센서(DVS)를 사용하여 노인의 낙상 탐지에서 발생하는 개인정보 우려 문제를 해결하기 위해.
• 제한된 컴퓨팅 자원을 가진 임베디드 하드웨어에 적합한 실시간, 저전력 낙상 탐지 시스템을 개발하기 위해.
• 다양한 낙상 및 비낙상 동작을 포함한 종합적인 DVS Falls Dataset을 구축하여 모델의 일반화 능력을 향상시키기 위해.
• CPU 전용 임베디드 플랫폼에서 고정밀도와 낮은 추론 지연을 달성하기 위해 딥러닝 모델(DVS-TN)을 최적화하기 위해.

제안 방법

• 31명의 피험자로부터 1,860개의 클립을 확보하여 DVS Falls Dataset을 구축하였으며, 앞, 뒤, 왼쪽, 오른쪽 4개 방향에서 낙상, 누워있는 자세, 앉기, 일어나기, 걷기, 허상 낙상 등의 동작을 촬영하였다.
• DVS 이미지—명도의 시간적 변화를 나타내는 자료—를 입력으로 사용하여 RGB 영상에 비해 개인정보 위험을 자연스럽게 감소시킨다.
• TSN(Temporal Segment Networks) 기반의 모델을 바탕으로 하되, DVS 입력에 적합하도록 50프레임의 DVS 스니펫을 스택하고, 공간-시간 컨볼루션 네트워크를 사용하여 구현하였다.
• 모델 압축 기법을 적용: 입력 크기를 32×32로 조정, 특징을 유지하기 위해 상호면 간섭(inter-area interpolation) 사용, 깊이분리형 컨볼루션, 배치 정규화 레이어 통합을 통해 추론 비용을 감소시켰다.
• NVIDIA Jetson TX1에서 CPU 전용 추론을 최적화하여 실시간 성능을 확보하였으며, 31.25 FPS를 달성하였다.
• 이중선형 보간과 영역 보간의 비교를 통해 해상도를 낮춘 상태에서 특징 손실를 최소화하는 최적의 방법을 선정하였다.

실험 결과

연구 질문

• RQ1 DVS 기반 시스템이 사용자 개인정보를 보호하면서도 고정밀도 실시간 낙상 탐지 성능을 달성할 수 있는가?
• RQ2 임베디드 시스템에서 낙상 탐지에 적용했을 때, 기존의 행동 인식 모델에 비해 특화된 DVS-TN 모델은 얼마나 효과적인가?
• RQ3 어떤 모델 압축 및 최적화 기법이 임베디드 플랫폼에서 CPU만을 사용해 31.25 FPS에서 고정밀도 낙상 탐지 가능하게 하는가?
• RQ4 다양한 낙상 시나리오를 포함한 DVS 기반 데이터셋은 기존 RGB 기반 데이터셋에 비해 모델의 강건성 향상에 기여하는가?

주요 결과

• DVS-TN 모델은 DVS Falls Dataset에서 95.5%의 F1 스코어를 기록하여 높은 탐지 정확도를 입증하였다.
• 시스템은 NVIDIA Jetson TX1에서 CPU만을 사용해 31.25 FPS로 작동하여 저전력 하드웨어에서 실시간 운영이 가능하다.
• 모델 최적화로 추론 연산 수를 2.3B에서 11.4M으로 감소시켜 깊이분리형 컨볼루션으로 1.54배의 속도 향상, 배치 정규화 통합으로 1.75배의 속도 향상을 달성하였다.
• 32×32 입력 크기에서 상호면 간섭이 이중선형 보간보다 특징 무결성을 더 잘 유지하여 높은 정확도를 유지하였다.
• CPU에 배포된 DVS-TN 모델은 TSN 및 SqueezeNet과 같은 최신 기술(SOTA) 모델보다 속도와 F1 스코어 모두에서 뛰어난 성능을 보였다.
• 558개의 낙상 클립과 다양한 동작 유형을 포함한 DVS Falls Dataset 덕분에 다양한 낙상 역학과 시점에서의 강건한 일반화 능력이 확보되었다.