[논문 리뷰] Activity2Vec: Learning ADL Embeddings from Sensor Data with a Sequence-to-Sequence Model

Alireza Ghods, Diane J. Cook|arXiv (Cornell University)|2019. 07. 12.

Context-Aware Activity Recognition Systems인용 수 8

한 줄 요약

이 논문은 스마트 홈 및 웨어러블 기기에서 활동 인식을 위해 원시 센서 데이터로부터 보편적이고 저차원의 임베딩을 학습하는 시퀀스-투-시퀀스 RNN 모델인 Activity2Vec을 제안한다. LSTMs를 사용한 인코더-디코더 아키텍처를 활용하여 시간적 의존성을 포착하고, 분류 및 클러스터링 작업에서 수작업 특징과 원시 데이터보다 뛰어난 압축되고 의미 있는 특징을 생성한다.

ABSTRACT

Recognizing activities of daily living (ADLs) plays an essential role in analyzing human health and behavior. The widespread availability of sensors implanted in homes, smartphones, and smart watches have engendered collection of big datasets that reflect human behavior. To obtain a machine learning model based on these data,researchers have developed multiple feature extraction methods. In this study, we investigate a method for automatically extracting universal and meaningful features that are applicable across similar time series-based learning tasks such as activity recognition and fall detection. We propose creating a sequence-to-sequence (seq2seq) model to perform this feature learning. Beside avoiding feature engineering, the meaningful features learned by the seq2seq model can also be utilized for semi-supervised learning. We evaluate both of these benefits on datasets collected from wearable and ambient sensors.

연구 동기 및 목표

• 수작업 특징의 한계를 해결하기 위해 전문 지식이 필요하고 일반화 능력이 떨어지는 활동 인식 기술의 문제점을 해결한다.
• 기존 오토인코더가 ADL 데이터의 시간적 의존성과 변동 길이의 시계열 입력을 처리하는 데 약한 점을 극복한다.
• 라벨이 없는 데이터를 요구하지 않고 원시 센서 시계열에서 의미 있는 압축된 표현을 추출하는 자기지도 학습 특징 학습 프레임워크를 개발한다.
• 사전에 학습된 모델을 사용해 새로운 활동 클래스에 대해 재학습 없이도 일반화할 수 있는 능력을 평가한다.
• 실제 센서 데이터셋에서의 내부 클래스 유사도와 클러스터링 성능을 통해 학습된 임베딩의 품질을 평가한다.

제안 방법

• 양방향 LSTMs를 인코더로, 계층적 디코더를 사용하여 원시 센서 시계열을 처리하는 시퀀스-투-시퀀스(seq2seq) 모델을 적용한다.
• 학습된 잠재 표현에서 입력 시계열을 재구성하는 데 목적이 있는 복구 손실을 사용하여 엔드 투 엔드로 모델을 훈련함으로써 비지도 특징 학습을 가능하게 한다.
• 학습된 인코더의 최종 은닉 상태를 고정 길이의 임베딩 벡터(활동2벡)로 사용하여 후속 분류 작업에 활용한다.
• 학습된 표현 공간에서 활동2벡 임베딩과 수작업 특징의 클러스터링 품질을 비교하기 위해 t-SNE 시각화를 적용한다.
• F1-score와 내부 클래스 유사도 지표를 사용하여 두 데이터셋(HAR: 웨어러블 센서, HH101: 앰비언트 스마트 홈 센서)에서 모델을 평가한다.
• 모든 다른 클래스에 대해 훈련된 모델을 사용해 미리 보지 않은 클래스를 인코딩함으로써, 제로샷 일반화 능력을 시험하기 위해 라이브러리-온-클래스 실험을 수행한다.

실험 결과

연구 질문

• RQ1 시퀀스-투-시퀀스 모델은 원시 센서 데이터로부터 다양한 ADL 인식 작업에 일반화 가능한 의미 있는 임베딩을 학습할 수 있는가?
• RQ2 제안된 활동2벡 프레임워크는 웨어러블 및 앰비언트 센서 데이터셋에서 수작업 특징과 원시 데이터보다 활동 인식 정확도에서 뛰어나게 성능을 내는가?
• RQ3 학습된 임베딩은 내부 클래스 유사도로 나타나는 바와 같이, 유사한 활동이 잠재 공간에서 함께 모여 있는 충분한 의미적 구조를 포착할 수 있는가?
• RQ4 재학습 없이도 관련 클래스로부터의 인코딩 표현만으로도 모델이 새로운 활동 클래스로 일반화할 수 있는 정도는 어느 정도인가?
• RQ5 학습된 임베딩은 센서 시계열 데이터에 내재된 시간적 의존성과 공간적 관계를 유지하는가?

주요 결과

• Activity2Vec는 HAR 테스트 세트에서 가장 높은 F1-score를 기록했으며, 걷기(0.97), 계단 오르기(0.95), 계단 내리기(0.94)의 성능을 보였다. 이는 원시 특징과 수작업 특징을 모두 초월했다.
• 활동2벡 임베딩의 내부 클래스 유사도는 수작업 특징(11.90)에 비해 유의미하게 낮았다(예: 서 있기 1.15). 이는 같은 클래스의 인스턴스들이 더 단단히 클러스터링되어 있음을 시사한다.
• 라이브러리-온-클래스 평가에서 랜덤 포레스트 모델은 모든 제외된 클래스에서 F1-score가 0.92 이상을 기록했으며, 사전 훈련된 활동2벡 특징을 사용해 효과적인 제로샷 일반화를 보였다.
• t-SNE 시각화 결과 활동2벡 임베딩은 활동 클래스별로 잘 분리되고 기하학적으로 일관된 클러스터를 형성했으며, 유사한 활동(예: 오르기/내리기 걷기)은 서로 가까이 위치해 있었다.
• HH101 데이터셋에서도 활동2벡은 경쟁력 있는 성능(목욕: F1 0.83, 위생: 0.87, 휴식: 0.93)을 유지했고, 수작업 특징(0.97)에 비해 더 낮은 내부 클래스 유사도(예: 목욕 1.34)를 보여, 더 나은 클러스터링 성능임을 시사했다.
• 감독 없이도 작업에 특화된 미세조정 없이 의미 있는 표현을 학습할 수 있다는 점은, 건강 모니터링 응용 분야에서 준지도 및 소수 샘플 학습의 잠재력을 보여준다.