[논문 리뷰] Understanding and Improving Deep Neural Network for Activity Recognition

Xue Li, Xiandong Si외 5명|arXiv (Cornell University)|2018. 05. 18.

Context-Aware Activity Recognition Systems참고 문헌 21인용 수 3

한 줄 요약

이 논문은 스마트폰 센서 데이터를 활용한 인간 활동 인식을 위한 딥 뉴럴 네트워크의 이해와 향상을 위한 시각화 기반 접근법을 제안한다. 스마트폰 센서 데이터에서 컨볼루션 네트워크(CNN)의 특징 맵을 분석함으로써 특정 활동과 관련된 분류 기반 특징을 규명하고, 이를 DNN 모델에 융합하여 96.1%의 분류 정확도를 달성하였다. 이는 이 분야에서 추상적인 센서 기반 특징을 처음으로 시각화한 사례이다.

ABSTRACT

Activity recognition has become a popular research branch in the field of pervasive computing in recent years. A large number of experiments can be obtained that activity sensor-based data's characteristic in activity recognition is variety, volume, and velocity. Deep learning technology, together with its various models, is one of the most effective ways of working on activity data. Nevertheless, there is no clear understanding of why it performs so well or how to make it more effective. In order to solve this problem, first, we applied convolution neural network on Human Activity Recognition Using Smart phones Data Set. Second, we realized the visualization of the sensor-based activity's data features extracted from the neural network. Then we had in-depth analysis of the visualization of features, explored the relationship between activity and features, and analyzed how Neural Networks identify activity based on these features. After that, we extracted the significant features related to the activities and sent the features to the DNN-based fusion model, which improved the classification rate to 96.1%. This is the first work to our knowledge that visualizes abstract sensor-based activity data features. Based on the results, the method proposed in the paper promises to realize the accurate classification of sensor- based activity recognition.

연구 동기 및 목표

• 센서 데이터를 활용한 활동 인식에 있어 딥 뉴럴 네트워크의 해석 불가능성 문제를 해결하기 위해.
• 원시 센서 신호로부터 딥 네트워크가 학습한 추상적 특징을 시각화하고 분석하기 위해.
• 학습된 표현들에서 활동에 특화된 중요한 특징을 규명하기 위해.
• 이러한 주목할 만한 특징을 DNN 기반 모델에 융합하여 분류 성능을 향상시키기 위해.
• 센서 기반 활동 인식에서 딥 러닝의 해석 가능성과 최적화를 위한 기반을 마련하기 위해.

제안 방법

• 스마트폰 센서 데이터셋을 대상으로 엔드 투 엔드 특징 학습을 위한 컨볼루션 네트워크(CNN)를 적용하였다.
• 센서 데이터로부터 CNN 레이어가 추출한 추상적 특징을 해석하기 위한 시각화 기법을 개발하였다.
• 특징 맵을 시각화하여 특정 인간 활동과의 연관성을 깊이 있게 분석하였다.
• 활동에 특화된 패턴과 관련성에 기반해 가장 분류 기반 특징을 추출하였다.
• 선택된 특징들을 딥 네트워크(DNN) 융합 모델에 입력하여 분류 성능을 향상시켰다.
• 추출된 특징을 활용해 융합 모델을 최적화하여 인식 정확도를 극대화하였다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 원시 센서 데이터로부터 활동 인식에서 어떤 방식으로 특징을 학습하고 표현하는가?
• RQ2 학습된 특징과 특정 인간 활동 사이의 관계는 무엇인가?
• RQ3 다양한 활동 클래스에 대해 가장 분류 기반 특징은 무엇인가?
• RQ4 핵심 특징을 시각화하고 선택하면 딥 러닝 모델의 활동 인식 성능 향상에 기여할 수 있는가?
• RQ5 특징 융합은 표준 딥 러닝 접근 방식을 초월해 분류 정확도를 얼마나 향상시킬 수 있는가?

주요 결과

• 학습된 특징의 시각화 결과, 명확한 공간적 및 시간적 패턴이 특정 인간 활동과 대응하는 것으로 확인되었다.
• CNN 내 특정 특징 맵은 일관되게 특정 활동에 의해 활성화되어 강한 특징-활동 상관관계를 보였다.
• 가장 분류 기반 특징은 각 활동 고유의 운동 역학과 시간적 전이 패턴을 포착하고 있음을 발견하였다.
• 선택된 주목할 만한 특징을 DNN 모델에 융합함으로써 분류 정확도가 96.1%로 향상되었다.
• 이 성능 향상은 센서 기반 인식에 있어 해석 가능성 기반 특징 선택의 효과성을 입증한다.
• 본 연구는 활동 인식을 위한 딥 러닝에서 추상적인 센서 기반 특징을 처음으로 시각화한 사례를 제시한다.