[논문 리뷰] ActiLabel: A Combinatorial Transfer Learning Framework for Activity Recognition

Parastoo Alinia, Seyed-Iman Mirzadeh외 1명|arXiv (Cornell University)|2020. 03. 16.

Context-Aware Activity Recognition Systems참고 문헌 25인용 수 6

한 줄 요약

ActiLabel는 원본 도메인과 대상 도메인의 활동 이벤트 의존성 그래프 간의 구조적 유사성을 학습함으로써 새로운 도메인에서 레이블 없이도 활동 인식을 가능하게 하는 조합 최적화 기반 전이 학습 프레임워크이다. 이는 교차 모odal, 교차 위치, 교차 주제 전이 학습 시나리오에서 평균 F1 점수 71.9%를 기록하여 최신 기술보다 뛰어난 성능을 보였다.

ABSTRACT

Sensor-based human activity recognition has become a critical component of many emerging applications ranging from behavioral medicine to gaming. However, an unprecedented increase in the diversity of sensor devices in the Internet-of-Things era has limited the adoption of activity recognition models for use across different domains. We propose ActiLabel a combinatorial framework that learns structural similarities among the events in an arbitrary domain and those of a different domain. The structural similarities are captured through a graph model, referred to as the it dependency graph, which abstracts details of activity patterns in low-level signal and feature space. The activity labels are then autonomously learned by finding an optimal tiered mapping between the dependency graphs. Extensive experiments based on three public datasets demonstrate the superiority of ActiLabel over state-of-the-art transfer learning and deep learning methods.

연구 동기 및 목표

• 분포 이탈으로 인해 다양한 센서 도메인 간 일반화 성능이 떨어지는 활동 인식 모델의 과제를 해결한다.
• 대상 도메인에서 레이블 데이터가 제공되지 않는 전이 학습 설정에서 레이블 없는 지식 전이를 가능하게 한다.
• 다양한 도메인 간 활동 이벤트의 구조적 의존성을 활용하여 고수준 추상화 및 지식 전이를 가능하게 한다.
• 다양한 모달, 위치, 주제 간 변동에 대해 강건한 프레임워크를 개발한다.
• 매우 다양한 도메인에서 기존 딥 러닝 및 전이 학습 기반 모델보다 뛰어난 성능을 달성한다.

제안 방법

• 특성 유사도를 기반으로 k-최근접 이웃(k-NN) 연결을 사용하여 원시 센서 데이터에서 네트워크 그래프를 구축한다.
• 커뮤니티 탐지 알고리즘을 적용하여 네트워크 그래프 내 핵심 활동 클러스터를 식별한다.
• 식별된 활동 클러스터 간의 구조적 관계를 모델링하는 의존성 그래프를 구축한다.
• 원본 도메인과 대상 도메인의 의존성 그래프 간 최적의 계층적 매핑을 찾기 위해 다층 매핑 알고리즘을 제안한다.
• 저수준 특성 공간 정렬에 의존하지 않고, 조합 최적화를 통해 도메인 간 구조적 패턴을 정렬한다.
• 최적화된 매핑을 사용하여 대상 도메인의 의존성 그래프를 원본 도메인의 그래프에 매핑함으로써 자동으로 활동 레이블을 추론한다.

실험 결과

연구 질문

• RQ1 매우 다양한 센서 도메인 간 활동 이벤트의 구조적 의존성이 신뢰성 있게 추출되어 지식 전이에 활용될 수 있는가?
• RQ2 레이블이 없는 상황에서 조합 최적화 기반 접근법이 원본 도메인과 대상 도메인 간 활동 구조 매핑에 얼마나 효과적인가?
• RQ3 교차 모달, 교차 위치, 교차 주제 활동 인식에서 이 프레임워크는 기존 전이 학습 및 딥 러닝 방법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 원본 도메인과 대상 도메인 간 센서 모달리티, 착용 위치 또는 주체가 크게 다를 경우 이 프레임워크는 어떻게 성능을 발휘하는가?
• RQ5 활동 패턴의 고수준 구조적 유사성이 센서 데이터의 상당한 분포 이탈을 상쇄할 수 있는가?

주요 결과

• ActiLabel는 교차 모달, 교차 위치, 교차 주제 전이 시나리오 전반에서 평균 F1 점수 71.9%를 기록하여 베이스라인 및 최신 기술 기반 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 교차 모달 전이에서 ActiLabel는 PAMAP2에서 59.3%의 F1 점수, DAS에서 66.2%, Smartsock에서 72.7%를 기록하였으며, DirectMap 대비 각각 19.3%, 21.4%, 6.7% 높은 성능을 보였다.
• 교차 위치 전이에서는 PAMAP2에서 70.8%의 F1 점수, DAS에서 68.4%를 기록하였으며, 평균 성능에서 DirectMap 대비 32.7% 높은 성능을 기록했다.
• 교차 주제 전이에서는 PAMAP2에서 82.7%의 F1 점수, DAS에서 80.3%를 기록하였으며, 평균적으로 DirectMap 대비 9.1% 높은 성능을 기록했다.
• 유사한 신체 부위(예: 가슴에서 가슴, 왼팔에서 오른팔) 간의 교차 위치 매핑에서 레이블링 정확도는 70.3% 이상이었고, 비유사 부위 간에는 58.3–65.1%로 떨어졌다.
• 공간적 및 시간적 분포 이탈이 높은 상황에서도 프레임워크가 강건함을 입증하였으며, 이는 활동 이벤트의 구조적 의존성이 도메인 간에도 유지됨을 확인했다.