[논문 리뷰] Wearable Vision Detection of Environmental Fall Risks using Convolutional Neural Networks

Mina Nouredanesh, A.C. McCormick외 2명|arXiv (Cornell University)|2016. 11. 02.

Video Surveillance and Tracking Methods참고 문헌 1인용 수 3

한 줄 요약

이 논문은 고령자들의 환경적軋撲위험을 탐지하기 위해 가슴에 부착한 GoPro와 합성곱 신경망(CNN)을 사용하는 웨어러블 1인칭 시각 시스템을 제안한다. 이 시스템은 계단, 보도블록, 불균형한 표면 등 12개의 위험 유형을 분류하여 평균 제곱오차(MSE)가 8%에 도달함으로써 일상생활에서의軋撲 예방을 위한 유망한 실시간 탐지 성능을 입증한다.

ABSTRACT

In this paper, a method to detect environmental hazards related to a fall risk using a mobile vision system is proposed. First-person perspective videos are proposed to provide objective evidence on cause and circumstances of perturbed balance during activities of daily living, targeted to seniors. A classification problem was defined with 12 total classes of potential fall risks, including slope changes (e.g., stairs, curbs, ramps) and surfaces (e.g., gravel, grass, concrete). Data was collected using a chest-mounted GoPro camera. We developed a convolutional neural network for automatic feature extraction, reduction, and classification of frames. Initial results, with a mean square error of 8%, are promising.

연구 동기 및 목표

• 일상 활동 중 고령자들의 환경적軋撲위험을 실시간으로 식별할 수 있는 웨어러블 시각 시스템을 개발하기 위해.
• 가슴에 부착한 GoPro를 통해 1인칭 시각 영상 데이터를 확보하여 균형 붕괴 상황을 객관적으로 기록하기 위해.
• 경사면(계단, 경사로)과 표면(자갈, 잔디, 콘크리트) 등을 포함한 12개의 고유한 환경 위험 유형을 분류하기 위해.
• 수동적인 특징 공학 없이도 자동으로 특징를 추출하고 분류하기 위해 딥러닝 기법을 활용하기 위해.
• 높은 정확도로軋撲 관련 환경 조건을 탐지하는 시스템의 성능을 평가하기 위해.

제안 방법

• 가슴에 부착된 GoPro 카메라가 일상 활동 중 환경적 조건을 기록하기 위해 1인칭 영상 데이터를 촬영한다.
• 개별 영상 프레임에서 시각적 특징를 자동으로 추출하고 감소시키며 분류하기 위해 맞춤형 합성곱 신경망(CNN)을 학습시킨다.
• 경사 변화와 표면 유형을 포함한 12개의 사전 정의된 위험 유형 데이터셋을 기반으로 CNN을 학습시킨다.
• 예측 정확도를 최적화하기 위해 학습 중 평균 제곱오차(MSE)를 최소화하는 분류 손실 함수를 적용한다.
• 실시간으로 프레임을 처리하여 이동 중 즉각적인 위험 탐지가 가능하도록 한다.
• 제한된 실생활 데이터를 바탕으로 일반화 능력을 향상시키기 위해 데이터 증강 및 전이학습 기법을 적용한다.

실험 결과

연구 질문

• RQ1 웨어러블 1인칭 시각 시스템은 일상 활동 중 실시간으로 환경적軋撲위험을 정확하게 탐지할 수 있는가?
• RQ2 CNN은 1인칭 영상에서 계단, 보도블록, 불균형한 표면 등의 다양한 환경 위험을 얼마나 효과적으로 분류할 수 있는가?
• RQ3 웨어러블 카메라 데이터에 대해 엔드 투 엔드 딥러닝을 적용했을 때 달성할 수 있는 분류 정확도는 어느 정도인가?
• RQ4 시스템은 다양한 유형의軋撲 관련 환경 위험에 대해 얼마나 잘 성능을 내는가?
• RQ5 균형 붕괴를 유도할 수 있는 미세한 환경 변화도 시스템은 탐지할 수 있는가?

주요 결과

• 제안된 시스템은 환경적軋撲위험 분류에서 평균 제곱오차(MSE)가 8%에 도달하여 강력한 예측 성능을 보였다.
• CNN은 계단, 경사로 등 경사 관련(예: 계단, 경사로)과 자갈, 잔디 등 표면 관련(예: 자갈, 잔디) 위험을 포함한 12개의 고유한 위험 유형을 효과적으로 식별하는 데 성공했다.
• 가슴에 부착한 GoPro에서 확보한 1인칭 영상은 균형 붕괴 상황에서의 환경 조건에 대한 신뢰할 수 있는 시각적 증거를 제공했다.
• 엔드 투 엔드 딥러닝 접근 방식을 통해 수동적 특징 공학의 필요성을 제거하여 강건성과 확장성을 향상시켰다.
• 자연스럽고 일상적인 환경에서 실시간軋撲위험 탐지의 가능성은 입증되었다.
• 결과적으로 웨어러블 시각 시스템과 CNN을 활용한 시스템은 고령자 대상의 선제적軋撲예방에 기여할 수 있음을 시사한다.