[논문 리뷰] Action2Activity: Recognizing Complex Activities from Sensor Data

Ye Liu, Liqiang Nie외 3명|arXiv (Cornell University)|2016. 11. 07.

Context-Aware Activity Recognition Systems참고 문헌 25인용 수 295

한 줄 요약

이 논문은 복합 활동을 표현하기 위한 시간 패턴 마이닝과 센서 데이터로 이를 인식하기 위한 적응형 다중 태스크 학습 프레임워크를 제시하며, 실제 데이터셋에서 입증된다.

ABSTRACT

As compared to simple actions, activities are much more complex, but semantically consistent with a human's real life. Techniques for action recognition from sensor generated data are mature. However, there has been relatively little work on bridging the gap between actions and activities. To this end, this paper presents a novel approach for complex activity recognition comprising of two components. The first component is temporal pattern mining, which provides a mid-level feature representation for activities, encodes temporal relatedness among actions, and captures the intrinsic properties of activities. The second component is adaptive Multi-Task Learning, which captures relatedness among activities and selects discriminant features. Extensive experiments on a real-world dataset demonstrate the effectiveness of our work.

연구 동기 및 목표

• 실생활 센서 데이터에서 행동 인식과 고수준 활동을 연결할 필요성을 제시한다.
• 활동을 설명하기 위해 순차적, 교차적(interleaved), 동시적 액션 관계를 포착하는 시간 패턴 마이닝 접근법을 개발한다.
• 활동 간 관련성을 포착하고 판별 패턴을 선택하기 위한 적응형 다중 태스크 학습 모델을 제안한다.
• 제안된 방법들을 실세계 데이터셋에서 평가하여 베이스라인 대비 효과를 입증한다.

제안 방법

• Allen의 시간 관계를 사용하여 행동 시퀀스로부터 빈번한 시간 패턴을 추출하고 패턴 기반 특징 공간을 활동에 대해 생성한다.
• 각 활동을 패턴 지원으로 표현하여 고차원 특징 벡터를 형성한다.
• 활동 인식을 M개의 활동에 걸친 다중 태스크 학습으로 공식화하고, 가중 행렬을 aW로 두고 학습된 Omega 행렬을 통해 작업 간 관련성을 학습한다.
• 공유된 특징과 작업 특이적 특징을 격려하면서 판별 패턴을 선택하기 위해 L2,1(그룹 라쏘) 페널티를 사용한다.
• 교대 최적화를 통해 최적화를 해결한다: 고정된 Omega를 사용할 때 FISTA를 이용해 W를, 고정된 W를 사용할 때 폐쇄 형식 해 Omega = (W^T W)^{1/2} / tr((W^T W)^{1/2})를 이용해 Omega를 구한다.
• 수렴성과 비용 고려로 패턴 차원을 최대 3까지 평가한다.

실험 결과

연구 질문

• RQ1 행동 간의 시간 패턴이 복합 활동의 고유 의미를 포착할 수 있는가?
• RQ2 활동 간 관련성을 활용하고 판별 특징을 선택함으로써 적응형 다중 태스크 학습이 활동 인식을 향상시키는가?
• RQ3 패턴 차원과 정규화 매개변수가 인식 정확도에 미치는 영향은 무엇인가?

주요 결과

• 시간 패턴(특히 {1,2} 및 {1,2,3}과 같은 고차 패턴)이 행동 묶음 표현(bag-of-actions)보다 인식 성능을 향상시킨다.
• aMTL은 단일 태스크 기준선 및 전통적인 MTL을 지속적으로 능가하며, MTL 대비 2–4%, GL 대비 3–6%의 정확도 향상을 보인다.
• Opportunity 데이터셋에서 {1,2}-패턴 + aMTL 접근법은 98.0% 정확도, 그리고 {1,2,3}-패턴 + aMTL은 99.2% 정확도를 달성한다.
• 학습된 작업 간 관련성 행렬 Omega는 활동 간 의미 있는 관련성을 드러낸다(예: 커피 시간은 샌드위치 시간과 상관관계가 있다).
• HMM, CRF, ITBN과 비교할 때, 시간 패턴과 aMTL을 활용한 제안된 접근법이 동일 데이터에서 더 높은 정확도를 보인다.