[논문 리뷰] An IoT Based Framework For Activity Recognition Using Deep Learning Technique

Ashwin Geet d'Sa, Bhanu Prasad|arXiv (Cornell University)|2019. 06. 17.

Human Pose and Action Recognition참고 문헌 25인용 수 8

한 줄 요약

이 논문은 배경 제거 전처리를 통해 정확도를 향상시킨 3D-컨volution 신경망(3D-CNNs)을 사용한 IoT 기반 저비용 활동 인식 프레임워크를 제안한다. 시스템은 라즈베리 파이에서 영상 스트림을 처리하여 이동식 하드웨어에서 실시간으로 활동을 정확하게 분류하며, 헬스케어, 감시 및 HCI 응용 분야에 실질적인 구현 가능성을 입증한다.

ABSTRACT

Activity recognition is the ability to identify and recognize the action or goals of the agent. The agent can be any object or entity that performs action that has end goals. The agents can be a single agent performing the action or group of agents performing the actions or having some interaction. Human activity recognition has gained popularity due to its demands in many practical applications such as entertainment, healthcare, simulations and surveillance systems. Vision based activity recognition is gaining advantage as it does not require any human intervention or physical contact with humans. Moreover, there are set of cameras that are networked with the intention to track and recognize the activities of the agent. Traditional applications that were required to track or recognize human activities made use of wearable devices. However, such applications require physical contact of the person. To overcome such challenges, vision based activity recognition system can be used, which uses a camera to record the video and a processor that performs the task of recognition. The work is implemented in two stages. In the first stage, an approach for the Implementation of Activity recognition is proposed using background subtraction of images, followed by 3D- Convolutional Neural Networks. The impact of using Background subtraction prior to 3D-Convolutional Neural Networks has been reported. In the second stage, the work is further extended and implemented on Raspberry Pi, that can be used to record a stream of video, followed by recognizing the activity that was involved in the video. Thus, a proof-of-concept for activity recognition using small, IoT based device, is provided, which can enhance the system and extend its applications in various forms like, increase in portability, networking, and other capabilities of the device.

연구 동기 및 목표

• 실시간 모니터링을 위한 IoT 기반 장치를 활용한 저비용이고 이동성이 뛰어난 활동 인식 시스템을 개발하기 위해.
• 배경 제거를 전처리 단계로 통합하여 3D-CNN 기반 인간 활동 인식의 정확도를 향상시키기 위해.
• 고성능 시스템에서 훈련된 3D-CNN 모델이 자원이 제한된 IoT 장치(예: 라즈베리 파이)에 효과적으로 배포될 수 있는지 검증하기 위해.
• 의료, 감시 및 인간-컴퓨터 상호작용 응용 분야에서 엣지 장치에서 실시간 영상 처리 및 분류를 가능하게 하기 위해.
• 낮은 해상도의 영상 입력이 계산 부담을 줄이면서도 분류 성능를 유지할 수 있는지 확인하기 위해.

제안 방법

• 배경 제거가 영상 프레임에서 정적 배경을 제거하고 움직이는 전경 객체만 추출하여 이후 처리의 특징 추출을 향상시킨다.
• 사전 처리된 영상 클립(8초 영상의 35프레임, 7초 분량)이 3D-컨볼루션 신경망(3D-CNN)에 입력되어 시공간 특징 학습 및 분류를 수행한다.
• 3D-CNN 모델은 계산 비용이 높은 훈련을 고성능 시스템에서 KTH 데이터셋을 사용해 수행한다.
• 훈련된 모델 가중치는 라즈베리 파이로 이관되어, 제한된 처리 능력으로 인해 현장에서의 훈련을 피한다.
• 라즈베리 파이 카메라 모듈을 사용해 160×120 해상도로 영상이 캡처되며, 훈련 데이터의 차원과 일관성을 확보하기 위해 프레임 샘플링이 수행된다.
• 분류 후 처리 결과는 IoT 프로토콜(예: GSM을 통한 SMS, SMTP를 통한 이메일)을 통해 전송되어 실시간 경고 또는 작동 제어가 가능하다.

실험 결과

연구 질문

• RQ1 배경 제거 전처리를 적용한 경우, 원시 영상 프레임을 직접 사용한 3D-CNN 기반 인간 활동 인식보다 정확도가 향상되는가?
• RQ2 고성능 하드웨어에서 훈련된 3D-CNN 모델이 라즈베리 파이와 같은 저전력 IoT 장치에서 효과적으로 배포되어 신뢰할 수 있는 추론을 수행할 수 있는가?
• RQ3 엣지 기반 활동 인식에서 계산 효율성과 분류 정확도 사이의 트레이드오프에 영상 해상도가 미치는 영향은 어떠한가?
• RQ4 정적 배경을 가진 실내 환경에서 이동식이고 IoT 기반의 시스템이 실시간 성능과 정확도를 유지할 수 있는 정도는 어느 정도인가?
• RQ5 제한된 계산 자원을 가진 엣지 장치에 딥 러닝 모델을 구현할 때의 실질적 한계는 무엇인가?

주요 결과

• 배경 제거 전처리를 적용한 결과, 3D-CNN에 직접 원시 영상 프레임을 사용한 경우보다 분류 정확도가 뚜렷이 향상되었다.
• 라즈베리 파이의 내장 카메라 모듈에서 캡처한 영상으로도 시스템이 정확한 활동 분류를 수행하여 엣지 장치에서의 실시간 배포 가능성을 입증했다.
• 낮은 해상도 영상 입력(160×120)이 정확한 분류에 충분했으며, 계산 부담을 줄여 현장에서의 추론이 가능하게 했다.
• 라즈베리 파이에서의 모델 추론 속도는 훈련 시스템보다 느렸지만, 주로 제한된 계산 능력으로 인한 것이었고, 실시간 응용 분야에서 기능적으로 유지되었다.
• 고성능 시스템에서 사전 훈련된 모델 가중치를 라즈베리 파이로 이관함으로써 현장에서의 훈련 없이도 효과적인 배포가 가능했다.
• 프레임워크는 GSM, SMTP 등 IoT 통신 프로토콜과의 통합을 지원하여 감시 및 헬스케어 응용 분야에서 실시간 경고 및 작동 제어를 가능하게 했다.