[논문 리뷰] Attend And Discriminate: Beyond the State-of-the-Art for Human Activity Recognition using Wearable Sensors

Alireza Abedin, Mahsa Ehsanpour외 3명|arXiv (Cornell University)|2020. 07. 14.

Context-Aware Activity Recognition Systems인용 수 4

한 줄 요약

이 논문은 웨어러블 센서 기반 인간 활동 인식을 위한 새로운 딥러닝 프레임워크를 제안하며, 크로스채널 어텐션, 센터-손실 정규화, 데이터에 종속되지 않는 믹업 증강을 통해 특징 표현을 향상시킵니다. 이 방법은 네 가지 다양한 벤치마크에서 새로운 최상의 성능을 달성하였으며, 센서 모odal 간의 상호작용을 명시적으로 모델링하고 특징의 밀도와 일반화 능력을 향상시켜 최대 6%의 상대적 정확도 향상을 이룹니다.

ABSTRACT

Wearables are fundamental to improving our understanding of human activities, especially for an increasing number of healthcare applications from rehabilitation to fine-grained gait analysis. Although our collective know-how to solve Human Activity Recognition (HAR) problems with wearables has progressed immensely with end-to-end deep learning paradigms, several fundamental opportunities remain overlooked. We rigorously explore these new opportunities to learn enriched and highly discriminating activity representations. We propose: i) learning to exploit the latent relationships between multi-channel sensor modalities and specific activities; ii) investigating the effectiveness of data-agnostic augmentation for multi-modal sensor data streams to regularize deep HAR models; and iii) incorporating a classification loss criterion to encourage minimal intra-class representation differences whilst maximising inter-class differences to achieve more discriminative features. Our contributions achieves new state-of-the-art performance on four diverse activity recognition problem benchmarks with large margins -- with up to 6% relative margin improvement. We extensively validate the contributions from our design concepts through extensive experiments, including activity misalignment measures, ablation studies and insights shared through both quantitative and qualitative studies.

연구 동기 및 목표

• 다중 채널 웨어러블 센서 모달 간 잠재적 관계를 모델링하는 데 있어 아직 탐색되지 않은 잠재력을 해결하기 위해.
• 컴퓨터 비전 분야에서 성공한 바에도 불구하고 아직 활용되지 않은 다중 모달 센서 시계열 데이터에 데이터에 종속되지 않는 믹업 증강을 적용하여 HAR의 일반화 능력을 향상시키기 위해.
• 센터-손실을 보완 최적화 목표로 도입하여 학습된 표현에서 클래스 내 변동성을 줄이고 클래스 간 분리성을 높이기 위해.
• 다양한 웨어러블 HAR 벤치마크에서 최신 기술을 초월하는 통합적이고 일반화 가능한 프레임워크를 개발하기 위해.

제안 방법

• 79개 센서 채널 간 잠재 상관관계를 모델링하기 위해 자기 어텐션을 사용하는 크로스채널 상호작용 인코더(CIE)를 도입하여 향상된 특징 맵을 생성함으로써 표현 학습을 향상시킴.
• 단일 시퀀스(T=8)에서 가장 정보가 많은 은닉 상태에 집중하기 위해 시간 단계를 동적으로 가중치를 부여하는 어텐션 기반 GRU 인코더(AGE)를 활용함.
• 클래스 내 특징 분산을 최소화하고 클래스 간 간격을 최대화함으로써 분류 능력을 향상시키기 위해 센터-손실을 정규화 항으로 통합함.
• 샘플 쌍 간 선형 보간을 통해 다중 채널 시계열 데이터에 믹업 증강을 적용하여 모달 특화 설계 없이도 훈련 데이터의 다양성을 증가시킴.
• CIE, AGE, 센터-손실, 믹업을 종합적으로 통합한 엔드 투 엔드 딥러닝 파이프라인을 구축하여 표현 품질과 일반화 능력의 공동 최적화를 실현함.
• 네 가지 다양한 HAR 벤치마크에서 통합 평가 프로토콜을 사용하여 프레임워크의 강건성과 일반화 능력을 검증함.

실험 결과

연구 질문

• RQ1 자기 어텐션을 통해 크로스채널 센서 상호작용을 모델링하면 웨어러블 기반 HAR에서 표현 학습이 향상될 수 있는가?
• RQ2 센터-손실을 손실 기준으로 도입하면 HAR에서 더 조밀하고 분류 능력이 뛰어난 특징 표현이 만들어지는가?
• RQ3 데이터에 종속되지 않는 믹업 증강은 소규모 다중 모달 센서 데이터셋으로 훈련된 딥 HAR 모델을 효과적으로 정규화할 수 있는가?
• RQ4 통합 프레임워크 내에서 각 구성 요소(CIE, AGE, 센터-손실, 믹업)는 성능 향상에 어떻게 기여하는가?
• RQ5 제안된 프레임워크는 다양한 웨어러블 센서 기반 HAR 벤치마크에서 얼마나 일반화 가능한가?

주요 결과

• 제안된 프레임워크는 네 가지 다양한 HAR 벤치마크에서 새로운 최상의 성능을 달성하였으며, 이전의 SoA 방법 대비 최대 6%의 상대적 향상을 기록함.
• 믹업만으로도 오포포튜니티 데이터셋에서 정확도가 5.2% 향상되었음(67.2% → 70.7%), 이는 다중 모달 센서 시퀀스에 증강 기법이 효과적이라는 것을 입증함.
• 믹업과 센터-손실의 조합가장 높은 성능 향상을 보였으며, 이는 밀도와 분리성에 대한 공동 최적화가 매우 효과적이라는 것을 시사함.
• 자기 어텐션을 사용하는 크로스채널 상호작용 인코더(CIE)가 어텐션 기반 GRU(AGE)보다 더 큰 성능 향상을 보였으며, 특히 짧은 시퀀스에서 센서 간 의존성을 모델링할 수 있다는 점에서 유리함.
• 학습된 어텐션 점수의 시각화 결과 의미 있고 해석 가능한 패턴을 확인할 수 있었음 — 예를 들어, 마시는 동작 시 오른팔 관성측정장치(IMU)에 강한 어텐션, 구부리는 동작 시 배와 왼팔 IMU에 강한 어텐션 — 이는 모델의 해석 가능성 검증됨.
• 제거 실험 결과 각 구성 요소(CIE, AGE, 센터-손실, 믹업)가 성능 향상에 기여하며, 특히 CIE와 센터-손실이 가장 뚜렷한 개별 향상을 보였음.