[논문 리뷰] Semi-Supervised Convolutional Neural Networks for Human Activity Recognition

Ming Zeng, Tong Yu외 4명|arXiv (Cornell University)|2018. 01. 22.

Context-Aware Activity Recognition Systems인용 수 8

한 줄 요약

이 논문은 원시 센서 데이터에서 분류 가능한 특징을 함께 학습하고, 비라벨 데이터를 활용하여 인간 활동 인식(HAR) 성능을 향상시키는 두 가지 준지도 학습 컷오프 신경망(CNN) 아키텍처—CNN-에코더-디코더 및 CNN-레이더—를 제안한다. 저수준 특징 학습 과정에 비라벨 데이터를 통합함으로써, 이 모델들은 세 가지 실세계 HAR 데이터셋에서 지도 학습 및 전통적인 준지도 학습 방법보다 최대 18% 높은 평균 F1 점수(Fm)를 달 đạt한다.

ABSTRACT

Labeled data used for training activity recognition classifiers are usually limited in terms of size and diversity. Thus, the learned model may not generalize well when used in real-world use cases. Semi-supervised learning augments labeled examples with unlabeled examples, often resulting in improved performance. However, the semi-supervised methods studied in the activity recognition literatures assume that feature engineering is already done. In this paper, we lift this assumption and present two semi-supervised methods based on convolutional neural networks (CNNs) to learn discriminative hidden features. Our semi-supervised CNNs learn from both labeled and unlabeled data while also performing feature learning on raw sensor data. In experiments on three real world datasets, we show that our CNNs outperform supervised methods and traditional semi-supervised learning methods by up to 18% in mean F1-score (Fm).

연구 동기 및 목표

• 희소하고 다양성이 부족한 라벨 데이터로 인해 지도 학습 HAR 모델의 일반화 능력이 제한되는 문제를 해결하기 위해.
• 수작업으로 만든 특징에 의존하고 비라벨 데이터를 활용해 저수준 표현을 조정할 수 없는 기존 준지도 학습 HAR 방법의 한계를 극복하기 위해.
• 라벨된 데이터와 비라벨 센서 데이터를 모두 활용해 특징 학습과 모델 훈련을 동시에 수행하는 딥 러닝 아키텍처를 개발하기 위해.
• 비라벨 데이터를 활용해 저수준 특징을 개선함으로써 고수준 표현 품질과 HAR 성능 향상이 크게 향상됨을 입증하기 위해.

제안 방법

• 입력 센서 시퀀스를 에코더 브랜치를 사용해 재구성하는 자동에코더 기반의 CNN-에코더-디코더 아키텍처를 제안하여, 라벨된 데이터와 비라벨 데이터를 함께 훈련할 수 있도록 한다.
• 에코더 브랜치와 디코더 브랜치 사이에 스킵 연결을 도입한 CNN-레이더 네트워크를 제안하며, 각 레이어의 잠재 표현이 해당하는 디코더 출력과 일치하도록 정규화한다.
• 비라벨 데이터가 네트워크의 다양한 깊이에서 특징 학습에 미치는 영향을 제어하기 위해 학습 가능한 계수 λₗ를 사용한 가중치가 부여된 재구성 손실을 사용한다.
• 분류를 위한 라벨된 데이터와 재구성 및 특징 정규화를 위한 비라벨 데이터를 모두 사용해 모델을 엔드 투 엔드로 훈련한다.
• 학습된 특징의 시각화를 위해 주성분 분석(PCA)을 적용하여, 비라벨 데이터 유무에 따라 모델 간 표현을 비교한다.
• 비라벨 데이터를 활용한 저수준 및 고수준 특징 개선의 영향을 평가하기 위해 레이어별로 λₗ 값을 체계적으로 변화시킨다.

실험 결과

연구 질문

• RQ1 원시 센서 데이터를 사용해 특징과 분류를 동시에 학습하는 준지도 학습 CNN이 지도 학습 및 기존 준지도 학습 HAR 방법보다 우수한 성능을 보일 수 있는가?
• RQ2 비라벨 데이터를 저수준 특징 학습에 통합할 경우, HAR에서 표현의 분류 능력에 어떤 영향을 미치는가?
• RQ3 비라벨 데이터를 활용할 때, 특히 저수준 특징이 성능 향상에 기여하는 상대적 기여도는 어떠한가?
• RQ4 라벨된 데이터가 부족한 상황에서 CNN-레이더가 표준 CNN보다 더 강건하고 일반화 능력이 뛰어난 고수준 특징을 학습할 수 있는가?
• RQ5 CNN-레이더가 표준 CNN 및 기존 준지도 학습 방법보다 HAR에서 더 높은 F₁ 점수를 달성하는 이유는 무엇인가?

주요 결과

• 제안된 준지도 학습 CNN은 세 가지 실세계 HAR 데이터셋에서 기준 지도 학습 및 전통적인 준지도 학습 방법보다 최대 18% 높은 평균 F1 점수(Fₘ)를 달성한다.
• 비라벨 데이터를 활용해 저수준 특징을 개선함으로써 일반화 능력이 크게 향상되며, 이는 비라벨 데이터가 서로 다른 사용자로부터의 데이터가 라벨된 예제 주변에 더 조밀하게 군집되는 것으로 특징 공간에서 입증된다.
• 라벨된 데이터가 부족하고 사용자 행동이 다양할 경우, CNN-레이더가 더 분류 능력이 뛰어난 고수준 특징을 학습함으로써 표준 CNN보다 뛰어난 성능을 보인다.
• 시각화 결과는 비라벨 데이터가 서로 다른 사용자 간에 동일한 활동(예: 조깅)의 특징을 정렬하는 데 기여하며, 행동이 다를 경우에도 상호 사용자 간 변동성을 줄임을 보여준다.
• 비라벨 데이터를 활용해 저수준 특징(예: 초기 레이어)을 개선할 때 성능 향상이 가장 크게 나타나며, 이는 전통적인 준지도 학습 방법이 특징를 훈련 전에 고정하기 때문에 불가능한 영역이다.
• 체계적인 아블레이션 분석 결과, 초기 레이어(저수준 특징)에 대해 λₗ = 1으로 설정할 경우 Fₘ가 최고로 향상되며, 준지도 학습 HAR에서 저수준 특징 학습의 핵심적 역할을 확인한다.