[논문 리뷰] TASKED: Transformer-based Adversarial learning for human activity recognition using wearable sensors via Self-KnowledgE Distillation

Sungho Suh, Vítor Fortes Rey외 1명|arXiv (Cornell University)|2022. 09. 14.

Context-Aware Activity Recognition Systems인용 수 4

한 줄 요약

TASKED는 웨어러블 센서 기반 인간 활동 인식(HAR)을 위한 트랜스포머 기반의 적대적 학습 프레임워크로, 자기 지식 정복(self-knowledge distillation)을 통합하여 도메인 간 특성 분포를 MMD 정규화를 통해 정렬하고 학습 안정성을 향상시켜, 다양한 주제 간 일반화 성능을 향상시킨다. 이는 네 개의 공개 HAR 데이터셋에서 F1-macro 기준 최신 기술 대비 최대 3.89%p 향상된 최고 성능을 달성한다.

ABSTRACT

Wearable sensor-based human activity recognition (HAR) has emerged as a principal research area and is utilized in a variety of applications. Recently, deep learning-based methods have achieved significant improvement in the HAR field with the development of human-computer interaction applications. However, they are limited to operating in a local neighborhood in the process of a standard convolution neural network, and correlations between different sensors on body positions are ignored. In addition, they still face significant challenging problems with performance degradation due to large gaps in the distribution of training and test data, and behavioral differences between subjects. In this work, we propose a novel Transformer-based Adversarial learning framework for human activity recognition using wearable sensors via Self-KnowledgE Distillation (TASKED), that accounts for individual sensor orientations and spatial and temporal features. The proposed method is capable of learning cross-domain embedding feature representations from multiple subjects datasets using adversarial learning and the maximum mean discrepancy (MMD) regularization to align the data distribution over multiple domains. In the proposed method, we adopt the teacher-free self-knowledge distillation to improve the stability of the training procedure and the performance of human activity recognition. Experimental results show that TASKED not only outperforms state-of-the-art methods on the four real-world public HAR datasets (alone or combined) but also improves the subject generalization effectively.

연구 동기 및 목표

• 다른 주제 간 훈련 및 테스트 데이터 간 분포 이탈로 인한 인간 활동 인식(HAR) 성능 저하 문제를 해결하기 위해.
• 웨어러블 센서 데이터에서 장거리 공간-시간 의존성을 포괄하지 못하는 CNN 및 RNN의 한계를 극복하기 위해.
• 추론 시 라벨이 부여된 주제 데이터가 필요 없이 도메인 불변 표현을 학습하여, 미리 보지 않은 주제에 대한 모델 일반화 능력을 향상시키기 위해.
• 교사 없는 자기 지식 정복 기반 메커니즘을 통해 학습 안정성을 향상시키고 MMD 및 적대적 손실에 의해 유도되는 편향을 감소시키기 위해.
• 특성 추출, 도메인 정렬, 개인 행동 변동에 대한 강건성 등 세 가지 요소를 통합적으로 최적화하는 통합 프레임워크 개발을 위해.

제안 방법

• 웨어러블 기기에서 생성되는 다중 센서 시계열 데이터의 공간적 및 시간적 의존성을 모델링하기 위해 트랜스포머 인코더를 활용한다.
• 주제 식별자(discriminator)가 주제를 식별하도록 훈련시키고, 특성 추출기는 이를 속이도록 훈련시키는 적대적 학습 기반의 학습 기법을 도입한다.
• 모든 주제 쌍 간에 최대 평균 불일치(MMD) 정규화를 적용하여 도메인 간 특성 분포를 정렬하고 도메인 일반화 성능을 향상시킨다.
• 학습 안정성 향상과 MMD 및 적대적 손실에 의한 편향 감소를 위해 교사 없는 자기 지식 정복 기법을 구현한다.
• 분류에 대한 교차 엔트로피 손실, 도메인 불변성에 대한 적대적 손실, 특성 일관성에 대한 정복 손실을 조합하여 전체 프레임워크를 엔드 투 엔드로 최적화한다.
• 상대적 위치 인코딩을 사용한 멀티헤드 어텐션 메커니즘을 도입하여 신체에 부착된 센서 간의 공간적 관계를 유지한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 아키텍처가 웨어러블 센서 데이터로부터 인간 활동 인식을 위한 공간적 및 시간적 표현을 효과적으로 학습할 수 있는가?
• RQ2 MMD 정규화를 통한 적대적 학습이 HAR에서 다양한 주제 간 일반화에 얼마나 기여하는가?
• RQ3 자기 지식 정복 기법이 HAR의 도메인 일반화 설정에서 학습 안정성과 성능 향상에 어떻게 기여하는가?
• RQ4 실제 웨어러블 HAR 데이터셋에서 최신 기술 대비 정확도, F1-macro, F1-weighted 측정치에서 제안된 프레임워크가 승리하는가?
• RQ5 특정 주제의 패턴이 추론 시 제공되지 않을 경우, 모델이 새로운 주제에 대해 효과적으로 일반화되는가?

주요 결과

• TASKED는 네 개의 공개 HAR 데이터셋에서 최신 기술 중 가장 우수한 성능를 기록한 모델 대비 정확도 3.08%p, F1-weighted 3.89%p, F1-macro 3.39%p 향상되었다.
• 통합 데이터셋을 사용할 경우, 트랜스포머 베이스라인 대비 정확도 1.71%p, F1-macro 2.96%p 향상된 성능을 기록했다.
• 베이지안 상관 t-검정 결과, F1-macro 기준 TASKED가 METIER보다 70% 확률로 1%p 이상 우수했으며, 동등성 확률은 약 30%에 불과했다.
• 상자-수염 그림을 통해 모든 메트릭에서 가장 낮은 분산을 보이며, 일관되고 강건한 성능을 입증했다.
• 훈련 및 테스트 데이터가 서로 다른 주제 분포에서 유래하더라도, 모델이 새로운 주제에 대해 효과적으로 일반화되었으며, 뚜렷한 성능 향상이 관찰되었다.
• 자기 지식 정복 기법이 학습 안정성을 향상시키고 MMD 및 적대적 정규화에 의한 과적합을 방지하여 일반화 성능 향상에 기여했다.