[논문 리뷰] Interpretable Parallel Recurrent Neural Networks with Convolutional Attentions for Multi-Modality Activity Modeling

Kaixuan Chen, Lina Yao외 5명|arXiv (Cornell University)|2018. 05. 17.

Context-Aware Activity Recognition Systems참고 문헌 19인용 수 8

한 줄 요약

이 논문은 웨어러블 센서를 사용한 다중모달 인간 활동 인식을 위한 해석 가능한 병렬 순환 신경망을 제안한다. 삼축 센서 데이터를 활동 프레임으로 변환하고 주목사용 기반 특징 선택을 적용함으로써, 모델은 정확도를 향상시키면서도 주요 신체 부위와 센서 모odalities를 강조한다. 이로 인해 해석 가능성과 계산 비용을 감소시킨 상태에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Multimodal features play a key role in wearable sensor-based human activity recognition (HAR). Selecting the most salient features adaptively is a promising way to maximize the effectiveness of multimodal sensor data. In this regard, we propose a "collect fully and select wisely" principle as well as an interpretable parallel recurrent model with convolutional attentions to improve the recognition performance. We first collect modality features and the relations between each pair of features to generate activity frames, and then introduce an attention mechanism to select the most prominent regions from activity frames precisely. The selected frames not only maximize the utilization of valid features but also reduce the number of features to be computed effectively. We further analyze the accuracy and interpretability of the proposed model based on extensive experiments. The results show that our model achieves competitive performance on two benchmarked datasets and works well in real life scenarios.

연구 동기 및 목표

• 기존 HAR 모델이 웨어러블 센서 데이터에서 개인 간 변동성과 클래스 간 유사성 문제를 다루는 데에 한계가 있음을 해결하기 위해.
• 다양한 신체 부위의 다중모달 센서 신호(가속도, 각속도, 자석) 간의 쌍별 관계를 완전히 포착함으로써 특징 표현을 향상시키기 위해.
• 정확성과 해석 가능성 모두를 확보하는 딥 러닝 모델을 개발하여 활동 분류에 가장 기여하는 센서와 신체 부위를 이해할 수 있도록 하기 위해.
• 주목 기반 메커니즘을 통해 전체 데이터 처리를 피하고 유의미한 센서 데이터 영역에만 집중함으로써 계산 비용을 감소시키기 위해.

제안 방법

• 삼축 웨어러블 센서 데이터(가속도계, 자이로스코프, 자석계)를 모든 센서 신호와 모달리티 간의 쌍별 관계를 인코딩하는 활동 프레임으로 변환하기.
• 두 가지 브랜치를 가진 병렬 순환 아키텍처를 구성하기: 하나는 활동 프레임의 유의미한 조각(지점)에 집중하는 주목 기반 LSTM을 사용하고, 다른 하나는 전체 프레임을 처리하는 표준 LSTM을 사용하기.
• 각 시간 단계에서 활동 프레임에서 작은 정보성 패치(지점)를 동적으로 선택하는 컨볼루션 주목 기반 메커니즘을 적용하기.
• 주목 기반 특징 선택의 안정성과 강건성을 향상시키기 위해 지점의 복수 개의 복제본을 사용한 몬테카를로 샘플링을 적용하기.
• 두 LSTM 브랜치의 출력을 연결하여 분류를 수행하고 최종 활동 예측을 도출하기.
• 다음으로 가장 정보성 있는 영역의 위치를 예측하는 학습 가능한 지점 네트워크를 도입하여 시간에 따라 주목을 반복적으로 개선할 수 있도록 하기.

실험 결과

연구 질문

• RQ1 활동 프레임으로 표현된 새로운 웨어러블 센서 데이터 표현 방식이 기존 방법에 비해 센서 간 및 모달리티 간 관계를 더 잘 포착할 수 있는가?
• RQ2 주목 기반 순환 모델이 달리기, 걷기, 누운 자세와 같은 활동을 구분하는 데 있어 가장 유의미한 센서 모달리티와 신체 부위를 얼마나 효과적으로 식별할 수 있는가?
• RQ3 전체 데이터 처리 기반 기준 대비, 제안된 모델이 정확도를 유지하거나 향상시키면서 계산 비용을 얼마나 줄일 수 있는가?
• RQ4 주목 기반 메커니즘이 활동 분류에 가장 기여하는 센서와 신체 부위를 식별하는 데 얼마나 해석 가능하며, 이는 생리학적 직관과 일치하는가?

주요 결과

• 제안된 모델은 MHEALTH, PAMAP2, MARS 기준 데이터셋에서 최신 기술 수준의 성능를 달성하여 기존 최신 기술 수준의 방법들을 초월하는 정확도를 보였다.
• 달리기 동안 모델은 발목 가속도를 가장 유의미한 모달리티로 식별하였으며(지점의 30.55%), 이는 생리학적 기대와 일치한다.
• 주목 기반 메커니즘은 달리기 동안 다리를 주요 기여 부위로 효과적으로 강조하였고, 팔의 영역은 최소한으로 집중함으로써 실제 세계의 타당성을 확인하였다.
• 전체 입력을 매 단계에서 처리하는 대신 정보성 있는 지점에만 집중함으로써 계산 부담을 줄였음에도 불구하고 높은 정확도를 유지하였다.
• 초기화수치 분석 결과, 지점 창의 너비 대 높이 비율을 4:1로 고정할 경우 최적의 성능를 얻었으며, 다양한 데이터셋에서 안정성이 확보되었다.
• 모델는 초기화수치 변화에 대해 강건성을 보였으며, 정확도가 특정 지점 수와 최적의 몬테카를로 샘플링 복제 수에서 최고에 도달함으로써 강력한 일반화 능력을 입증하였다.