[논문 리뷰] Efficient Dense Labeling of Human Activity Sequences from Wearables using Fully Convolutional Networks

Rui Yao, Guosheng Lin외 2명|arXiv (Cornell University)|2017. 02. 20.

Context-Aware Activity Recognition Systems참고 문헌 15인용 수 5

한 줄 요약

이 논문은 가속도계 및 자이로스코프와 같은 웨어러블 센서에서 인간 활동 시퀀스의 효율적이고 밀도 높은 레이블링을 위한 완전 컨볼루션 네트워크(FCN) 기반 방법을 제안한다. 고정 크기의 슬라이딩 윈도우가 필요로 하지 않으며, 레이블 불일치 문제를 해결한다. 이 방법은 세 가지 데이터셋, 특히 새로운 병원 기반 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, Opportunity 데이터셋에서 59.0%의 가중 F-측정치를 기록하여 이전의 CNN 기반 방법보다 11% 높고, 추론 속도는 5배 빠르다.

ABSTRACT

Recognizing human activities in a sequence is a challenging area of research in ubiquitous computing. Most approaches use a fixed size sliding window over consecutive samples to extract features---either handcrafted or learned features---and predict a single label for all samples in the window. Two key problems emanate from this approach: i) the samples in one window may not always share the same label. Consequently, using one label for all samples within a window inevitably lead to loss of information; ii) the testing phase is constrained by the window size selected during training while the best window size is difficult to tune in practice. We propose an efficient algorithm that can predict the label of each sample, which we call dense labeling, in a sequence of human activities of arbitrary length using a fully convolutional network. In particular, our approach overcomes the problems posed by the sliding window step. Additionally, our algorithm learns both the features and classifier automatically. We release a new daily activity dataset based on a wearable sensor with hospitalized patients. We conduct extensive experiments and demonstrate that our proposed approach is able to outperform the state-of-the-arts in terms of classification and label misalignment measures on three challenging datasets: Opportunity, Hand Gesture, and our new dataset.

연구 동기 및 목표

• 고정 크기의 슬라이딩 윈도우로 인해 발생하는 레이블 불일치 문제를 해결한다. 이는 단일 윈도우 내에서 여러 레이블이 존재할 수 있음을 의미한다.
• 테스트 시 윈도우 크기 의존성의 제한을 극복한다. 이는 모델의 유연성 제약과 실시간 응용 프로그램에서의 예측 지연 증가를 줄인다.
• 수작업 특징 공학이나 윈도우 기반 분할 없이, 특징과 분류기의 엔드 투 엔드 학습을 가능하게 한다.
• HAR 연구를 지원하기 위해 병원에 입원한 노인 환자로부터 수집한 새로운 공개 데이터셋을 제공한다.
• 밀도 높은 샘플 수준의 레이블링을 통해 장기 지속 또는 드문 활동에 대한 클래스 불균형에 대한 강건성을 향상시킨다.

제안 방법

• 고정 크기의 윈도우가 필요 없이 임의의 길이의 원시 센서 시퀀스를 처리할 수 있는 완전 컨볼루션 네트워크(FCN) 아키텍처를 사용한다.
• 기존의 슬라이딩 윈도우 기반 특징 추출 방식을 대체하여, 직접적으로 모든 입력 샘플에 대해 레이블을 예측하는 완전 컨볼루션 프레임워크를 구현한다.
• 수작업 특징이나 히우리스틱이 필요 없이, 특징과 분류 경계를 함께 학습하는 엔드 투 엔드 훈련을 적용한다.
• 시간적 및 공간적 패턴을 센서 채널과 시간 단위 전역에서 포괄적으로 포착하기 위해 학습 가능한 필터를 가진 시간 컨볼루션 레이어를 적용한다.
• 모든 활동 클래스에 대해 샘플 수준의 예측을 생성하기 위해 출력 레이어에서 글로벌 평균 풀링과 소프트맥스 분류를 활용한다.
• 실제 HAR 데이터에서의 클래스 불균형 영향을 줄이기 위해 클래스 가중치를 적용한 교차 엔트로피 손실을 사용하여 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 완전 컨볼루션 네트워크가 슬라이딩 윈도우 기반 방법보다 더 뛰어난 성능을 내는가? 특히 레이블 모호성 문제를 다룰 때 성능이 어떻게 향상되는가?
• RQ2 기존의 고정 윈도우 제약이 있는 표준 CNN 대비, 제안된 방법이 예측 지연을 얼마나 줄이고 추론 효율성을 얼마나 향상시키는가?
• RQ3 모델은 불균형 데이터셋, 특히 장기 지속 또는 저빈도 활동을 인식할 때 어떻게 성능을 내는가?
• RQ4 윈도우 크기 의존성이 없는 추론 덕분에, 재학습 없이 다양한 주제와 데이터셋에 일반화되는가?
• RQ5 병원에서 수집한 임상적으로 관련성이 높은 새로운 데이터셋의 공개가 실생활 상황에서 HAR 모델 평가를 어떻게 향상시키는가?

주요 결과

• 제안된 방법은 전체 Opportunity 데이터셋에서 59.0%의 가중 F-측정치를 달성하여 Yang 등(2015)의 CNN 방법보다 11% 높은 성능을 기록한다.
• 혼란 행렬을 통해 활동 전환(예: 일어나기, 누워있기)을 다룰 때 뛰어난 성능을 보이며, 시간 경계에서의 잘못된 정렬 수가 적다.
• 입력 서브시퀀스의 길이에 민감하지 않아, 재학습 없이도 임의의 길이의 시퀀스에 대해 추론이 가능하며 윈도우 크기 제약이 없다.
• 추론 속도가 크게 향상되어 Yang 등(2015)의 CNN 방법 대비 1/5, 기준 방법 대비 1/10의 시간에 도달한다.
• 모든 비교 방법보다 잘못된 정렬 측정치(단절, 삭제, 대체)에서 뛰어난 성능을 보이며, 진짜 활동 시작 및 종료 시간을 더 정확하게 탐지함을 시사한다.
• 새로운 병원 기반 데이터셋에서, null 클래스가 존재하지 않음에도 불구하고 다른 방법들보다 유의미하게 높은 가중 F-측정치를 기록하여 클래스 불균형에 대한 강건성을 확인한다.