[논문 리뷰] Learning behavioral context recognition with multi-stream temporal convolutional networks

Aaqib Saeed, Tanır Özçelebi외 2명|TU/e Research Portal|2018. 08. 27.

Context-Aware Activity Recognition Systems인용 수 5

한 줄 요약

이 논문은 일상적인 기기에서 얻은 원시 다중모odal 센서 데이터(가속도계, 자이로스코프, 음성, 핸드폰 상태)를 사용하여 엔드 투 엔드 다중 레이블 행동 맥락 인식을 위한 다중 스트림 시간 컨volution 네트워크를 제안한다. 이 모델은 맥락화 모듈을 통해 모odal별 스트림을 융합하여, 인스턴스 가중치와 정규화를 통해 불균형하고 희소하게 레이블링된 실세계 데이터에서 높은 성능을 달성하며, 다중 작업 학습을 통해 누락된 모달리티에 대해서도 강건성을 확보한다.

ABSTRACT

Smart devices of everyday use (such as smartphones and wearables) are increasingly integrated with sensors that provide immense amounts of information about a person's daily life such as behavior and context. The automatic and unobtrusive sensing of behavioral context can help develop solutions for assisted living, fitness tracking, sleep monitoring, and several other fields. Towards addressing this issue, we raise the question: can a machine learn to recognize a diverse set of contexts and activities in a real-life through joint learning from raw multi-modal signals (e.g. accelerometer, gyroscope and audio etc.)? In this paper, we propose a multi-stream temporal convolutional network to address the problem of multi-label behavioral context recognition. A four-stream network architecture handles learning from each modality with a contextualization module which incorporates extracted representations to infer a user's context. Our empirical evaluation suggests that a deep convolutional network trained end-to-end achieves an optimal recognition rate. Furthermore, the presented architecture can be extended to include similar sensors for performance improvements and handles missing modalities through multi-task learning without any manual feature engineering on highly imbalanced and sparsely labeled dataset.

연구 동기 및 목표

• 일상적인 기기에서 비침습적이고 다중모달 센서 데이터를 사용하여 다양한 실생활 행동 맥락을 인식하는 데 도전하는 것.
• 수작업 특징 엔지니어링 없이 원시 센서 신호에서 엔드 투 엔드 학습을 가능하게 하는 것.
• 실세계 환경에서 흔히 발생하는 극도로 불균형하고 희소하게 레이블링된 데이터셋에서 인식 성능을 향상시키는 것.
• 다양한 환경, 기기 사용 방식, 센서 구성 조건, 포함된 모달리티가 누락된 경우에도 일반화할 수 있는 모델을 개발하는 것.
• 다변량 시계열 데이터 분석 분야의 인간 행동 분석에 적용 가능한 일반적인 다중모달 시간 표현 학습 프레임워크를 제공하는 것.

제안 방법

• 아키텍처는 원시 센서 신호에서 계층적 표현을 추출하기 위해 시간 컨볼루션 네트워크(TCNs)를 사용하는 네 개의 모달리티별 스트림(가속도계, 자이로스코프, 음성, 핸드폰 상태)을 활용한다.
• 모든 스트림의 표현을 후행적 상호작용을 통해 맥락화 모듈이 융합하여 다중 레이블 행동 맥락의 공동 추론을 가능하게 한다.
• 클래스 불균형 문제를 해결하기 위해 인스턴스 가중치가 부여된 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 모델을 훈련시키며, 과적합을 방지하기 위해 L1/L2 정규화와 드롭아웃을 적용한다.
• 공유된 레이어가 가용 입력에서 강건한 표현을 학습하도록 다중 작업 학습을 활용하여 누락된 모달리티를 처리할 수 있도록 네트워크를 조정한다.
• 최종 완전 연결 레이어의 특징에 대해 t-SNE 시각화를 적용하여 학습된 표현의 의미적 군집화와 분리성 여부를 평가한다.
• 표준 훈련/검증/테스트 분할과 다중 레이블 평가 지표를 사용하여, 실세계에서 수집한 대규모 다중모달 데이터셋에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 엔드 투 엔드 다중 스트림 TCN이 실생활 환경에서 원시 다중모달 센서 데이터로부터 다양한 행동 맥락을 효과적으로 인식할 수 있는가?
• RQ2 인스턴스 가중치와 정규화 기법이 극도로 불균형하고 희소하게 레이블링된 데이터셋에서 모델 일반화 성능를 향상시키는 데 어떻게 기여하는가?
• RQ3 일부 센서 모달리티가 누락되었을 경우 모델의 성능가 유지되는 정도는 어느 정도인가?
• RQ4 t-SNE 시각화 결과에 따르면, 학습된 표현이 행동 맥락의 의미 있는 변동 요인을 효과적으로 분리하는가?
• RQ5 다양한 모달리티 스트림이 공동 학습에서 최종 예측 성능에 기여하는 방식은 어떠한가?

주요 결과

• 엔드 투 엔드로 훈련된 다중 스트림 TCN은 수작업 특징 기반 모델이나 단일 모달리티 학습에 기반한 모델보다 최적의 인식 성능를 달성한다.
• 인스턴스 가중치가 부여된 교차 엔트로피 손실은 희귀 긍정 레이블의 성능 향상에 크게 기여하며, 이 손실을 제거할 경우 성능이 무작위 수준으로 급격히 하락함을 확인했다.
• 드롭아웃, L1/L2 정규화 등의 정규화 기법은 과적합을 감소시키며, 정규화를 제거했을 경우 테스트 세트에서 평균 리콜이 0.58로 감소함으로써 이를 입증했다.
• 다중 작업 학습을 활용하여 누락된 모달리티에 대해 강건성을 확보하였으며, 재훈련 없이도 예측 성능를 유지함을 보였다.
• t-SNE 시각화 결과, 융합된 특징이 상호 배타적인 레이블(예: 실내 vs. 실외)에 대응하는 의미적으로 유의미한 군집을 형성함을 확인하여 맥락적 요인의 효과적인 분리성을 입증했다.
• 모달리티별 네트워크의 첫 번째 레이어에서의 특징 맵을 분석한 결과, 각 모달리티에서 고유한 학습된 패턴을 확인할 수 있었다(예: 가속도계에서는 운동 역학, 자이로스코프에서는 회전 패턴, 음성에서는 스펙트럼 콘텐츠).