[논문 리뷰] Personalized Activity Recognition with Deep Triplet Embeddings

D. Burns, Cari Whyne|arXiv (Cornell University)|2020. 01. 15.

Context-Aware Activity Recognition Systems인용 수 5

한 줄 요약

이 논문은 완전 컨volution 신경망에서 유도된 딥 트리플릿 임베딩을 사용하여 개인화된 인간 활동 인식 시스템을 제안한다. 새로운 주제 기반 트리플릿 손실을 통해 일반화 능력과 분포 외 탐지 성능을 햖थ한다. 이 방법은 개인화되지 않은 모델과 엔지니어링 특징 기반 기준 모델을 크게 능가하며, 주제 기반 트리플릿 손실이 MHEALTH, WISDM, SPAR 데이터셋에서 세 가지 모두에서 가장 높은 전체 정확도와 강건성을 보였다.

ABSTRACT

A significant challenge for a supervised learning approach to inertial human activity recognition is the heterogeneity of data between individual users, resulting in very poor performance of impersonal algorithms for some subjects. We present an approach to personalized activity recognition based on deep embeddings derived from a fully convolutional neural network. We experiment with both categorical cross entropy loss and triplet loss for training the embedding, and describe a novel triplet loss function based on subject triplets. We evaluate these methods on three publicly available inertial human activity recognition data sets (MHEALTH, WISDM, and SPAR) comparing classification accuracy, out-of-distribution activity detection, and embedding generalization to new activities. The novel subject triplet loss provides the best performance overall, and all personalized deep embeddings out-perform our baseline personalized engineered feature embedding and an impersonal fully convolutional neural network classifier.

연구 동기 및 목표

• 관성 센서 데이터에서 개인별 이질성으로 인해 성능이 저하되는 개인화되지 않은 HAR 모델의 문제를 해결하기 위해.
• 학습된 딥 임베딩이 전통적인 엔지니어링 특징보다 개인화된 활동 인식에서 더 우수한 성능을 보이는지 평가하기 위해.
• 특히 새로운 주제 기반 트리플릿 선택 전략을 적용한 트리플릿 손실의 효과성을 조사하기 위해.
• 재학습 없이도 분포 외 활동을 탐지할 수 있도록 개방 집합 인식을 가능하게 하기 위해.
• 모델의 경량화와 효율적인 추론을 통해 엣지 장치에의 구현 가능성을 평가하기 위해.

제안 방법

• 관성 센서 시계열 데이터에서 깊이 있는 임베딩을 추출하기 위해 완전 컨볼루션 신경망(FCN)을 백본으로 사용한다.
• 두 가지 학습 목표를 비교한다: 분류 교차 엔트로피 손실과 새로운 주제 기반 트리플릿 손실 함수.
• 주제 기반 트리플릿 손실은 동일 사용자, 동일 활동인 양성 샘플, 동일 사용자이지만 다른 활동인 부정성 샘플, 그리고 다른 사용자로부터의 하드 부정성 샘플로 구성된 트리플릿을 선택하여 사용자 간의 분류 능력을 향상시킨다.
• 개인화된 추론은 주제별 참조 임베딩에 대한 k-최근접 이웃(k-NN) 검색을 통해 수행되며, 이는 개방 집합 인식을 가능하게 한다.
• 성능 평가를 위해 MHEALTH, WISDM, SPAR 세 가지 공개 데이터셋을 사용하였으며, 정확도, OOD 탐지, 임베딩 일반화 능력 등을 측정하였다.
• 엣지 장치에의 구현을 지원하기 위해 약 ~278,848개의 파라미터를 가진 경량 FCN을 사용하였다.

실험 결과

연구 질문

• RQ1 교차 엔트로피 손실이나 엔지니어링 특징 대비 트리플릿 손실을 사용하여 학습한 딥 임베딩이 개인화된 활동 인식 성능 향상에 기여하는가?
• RQ2 사용자별 하드 부정성 샘플을 기반으로 한 새로운 주제 기반 트리플릿 손실 함수가 이질적인 사용자 간의 모델 일반화 및 강건성 향상에 기여하는가?
• RQ3 개인화된 임베딩이 표준 소프트맥스 분류기 대비 분포 외 활동 탐지 성능이 얼마나 우수한가?
• RQ4 학습된 임베딩에 대한 k-NN 검색을 통해 재학습 없이도 효과적인 개방 집합 인식이 가능한가?
• RQ5 제안된 개인화된 임베딩 접근법이 엣지 장치에 구현 가능한가?

주요 결과

• 새로운 주제 기반 트리플릿 손실은 MHEALTH, WISDM, SPAR 데이터셋 전부에서 가장 높은 분류 정확도를 달성하였으며, 교차 엔트로피 손실 및 엔지니어링 특징 기반 기준 모델을 모두 능가하였다.
• 모든 개인화된 딥 임베딩 모델(PFE, PDF, PTN)은 정확도와 강건성 측면에서 개인화되지 않은 완전 컨볼루션 신경망(FCN) 분류기보다 뚜렷이 뛰어난 성능을 보였다.
• 개인화된 k-NN 추론 방법은 효과적인 분포 외 활동 탐지가 가능했으며, 평균 최근접 이웃 거리가 신뢰할 수 있는 OOD 점수로 기능하였다.
• FCN 코어 모델은 약 ~278,848개의 파라미터(~1 MB)로 경량화되어 실시간, 장치 내 추론을 위한 엣지 장치 배포에 적합하다.
• 주제 기반 트리플릿 전략은 기존의 트리플릿 선택 방법보다 뛰어난 성능을 보였으며, 사전 계산된 임베딩이 필요 없어 계산 효율성도 확보하였다.
• 기준 세그먼트와 테스트 세그먼트 간 시간적 겹침이 제한적이었음에도 불구하고, 이 방법은 강력한 일반화 능력을 보였으며, 향후 더 많은 데이터 수집을 통해 실생활 적용 가능성도 보였다.