[논문 리뷰] DeepSense: A Unified Deep Learning Framework for Time-Series Mobile Sensing Data Processing

Shuochao Yao, Shaohan Hu외 3명|arXiv (Cornell University)|2016. 11. 07.

Context-Aware Activity Recognition Systems참고 문헌 39인용 수 105

한 줄 요약

DeepSense는 CNN과 GRU를 통합하여 노이즈가 있는 시계열 모바일 센서 데이터에서 회귀와 분류를 처리하며, 차 추적(CarTrack), 이질적 활동 인식(HHAR), 생체 인식 사용자 식별에서 최첨단 성과를 달성하는 한편, 기기 내 배치에 실용성을 유지합니다.

ABSTRACT

Mobile sensing applications usually require time-series inputs from sensors. Some applications, such as tracking, can use sensed acceleration and rate of rotation to calculate displacement based on physical system models. Other applications, such as activity recognition, extract manually designed features from sensor inputs for classification. Such applications face two challenges. On one hand, on-device sensor measurements are noisy. For many mobile applications, it is hard to find a distribution that exactly describes the noise in practice. Unfortunately, calculating target quantities based on physical system and noise models is only as accurate as the noise assumptions. Similarly, in classification applications, although manually designed features have proven to be effective, it is not always straightforward to find the most robust features to accommodate diverse sensor noise patterns and user behaviors. To this end, we propose DeepSense, a deep learning framework that directly addresses the aforementioned noise and feature customization challenges in a unified manner. DeepSense integrates convolutional and recurrent neural networks to exploit local interactions among similar mobile sensors, merge local interactions of different sensory modalities into global interactions, and extract temporal relationships to model signal dynamics. DeepSense thus provides a general signal estimation and classification framework that accommodates a wide range of applications. We demonstrate the effectiveness of DeepSense using three representative and challenging tasks: car tracking with motion sensors, heterogeneous human activity recognition, and user identification with biometric motion analysis. DeepSense significantly outperforms the state-of-the-art methods for all three tasks. In addition, DeepSense is feasible to implement on smartphones due to its moderate energy consumption and low latency

연구 동기 및 목표

• 모바일 센싱 및 컴퓨팅에서 노이즈가 있는 시계열 센서 데이터의 활용을 개선하도록 동기를 부여한다.
• 회귀와 분류 작업을 모두 수용하는 통합 딥러닝 프레임워크를 제안한다.
• 로컬 센서 상호작용, 다중 모달 융합, 및 시간적 모델링을 활용하여 물리적 신호/노이즈 표현과 강건한 특징을 학습한다.
• 에너지와 지연 측면에서 기기 내 실행 가능성을 입증한다.

제안 방법

• 입력 센서 측정을 시간 간격으로 나누고 각 간격마다 주파수 영역으로 변환한다.
• 센서별 합성곱 하위망을 적용하여 간격 내 로컬 상호 작용과 센서 간 글로벌 상호 작용을 포착한다.
• 병합 합성곱 하위망으로 센서 출력을 병합하여 교차 센서 관계를 학습한다.
• 드롭아웃과 순환 배치 정규화를 포함한 두 층으로 구성된 스택형 GRU를 사용하여 간격 간 시간 의존성을 학습한다.
• 회귀의 경우 공유 선형 계층으로 출력을 디코딩하여 각 간격의 물리량을 추정한다.
• 분류의 경우 간격 특징을 집계(예: 평균)하고 소프트맥스를 적용하여 카테고리 확률을 산출한다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 모바일 센서 데이터로부터 회귀를 위한 물리 신호/노이즈 구성과 분류를 위한 강건한 특징 표현을 모두 학습할 수 있는 통합 CNN-RNN 프레임워크가 있는가?
• RQ2 센서별 CNN, 다중 모달 융합, 시간 모델링이 결합된 계층적 센싱이 회귀 및 분류 작업 전반에 걸쳐 작업별 베이스라인보다 우수한가?
• RQ3 에너지 소비와 지연 측면에서 기기 내 배치에 프레임워크가 실현 가능한가?
• RQ4 차량 추적(CarTrack), 이질적 인간 활동 인식, 생체 인식 사용자 식별과 같은 난이도 높은 작업에서 DeepSense의 성능은 어떠한가?

주요 결과

MAE (미터)	맵 보조 정확도
40.43±5.24	93.8%
44.97±5.80	90.2%
52.15±6.24	88.3%
53.06±6.59	87.5%
606.59±56.57
	6.7%

• DeepSense는 기준선 대비 차 추적(CarTrack)에서 추적 오차를 크게 감소시키며, 40.43 ± 5.24 m MAE 및 93.8% 맵 보조 정확도를 달성한다.
• 변형들과 비교하여, 모든 구성요소(개별 Conv 네트와 병합 Conv 네트, 스택형 GRU)를 포함한 DeepSense가 최상의 성능을 내며, 구성요소를 제거하면 성능이 저하된다.
• CarTrack의 경우 여러 베이스라인(DS-SingleGRU, DS-noIndvConv, DS-noMergeConv)은 점진적으로 더 나쁜 MAE 및 맵 보조 정확도를 보이며, 개별 센서 처리와 센서 간 융합의 가치를 확인시킨다.
• HHAR(이질적 인간 활동 인식) 및 UserID(생체 모션 기반 식별)에서 DeepSense와 변형들이 최첨단 베이스라인을 큰 차이로 능가한다(적어도 10% 이상).
• 본 프레임워크는 모바일 기기에서 중간 수준의 에너지 사용과 낮은 지연으로 구현 가능하다는 것을 시연한다(기기 내 처리).