[논문 리뷰] Context-driven Active and Incremental Activity Recognition

Gabriele Civitarese, Riccardo Presotto외 1명|arXiv (Cornell University)|2019. 06. 07.

Context-Aware Activity Recognition Systems참고 문헌 37인용 수 9

한 줄 요약

이 논문은 관계적 데이터(예: 위치, 시간, 교통 수단)에 대한 온톨로지 기반 추론과 점진적 분류기의 조합을 통해 정확도를 향상시키고 사용자 쿼리 수를 줄이는, 맥락 인식형, 준지도 학습형 활동 인식 시스템인 CAVIAR를 제안한다. 통계적 예측을 의미론적 맥락으로 보완하고, 확신이 있는 예측을 자가 학습에 활용하면서 불확실할 경우에만 사용자에게 쿼리를 보내는 방식으로 CAVIAR는 맥락을 원시적 특성으로 사용하는 방법보다 더 높은 인식률과 훨씬 적은 쿼리 수를 달성한다.

ABSTRACT

Human activity recognition based on mobile device sensor data has been an active research area in mobile and pervasive computing for several years. While the majority of the proposed techniques are based on supervised learning, semi-supervised approaches are being considered to significantly reduce the size of the training set required to initialize the recognition model. These approaches usually apply self-training or active learning to incrementally refine the model, but their effectiveness seems to be limited to a restricted set of physical activities. We claim that the context which surrounds the user (e.g., semantic location, proximity to transportation routes, time of the day) combined with common knowledge about the relationship between this context and human activities could be effective in significantly increasing the set of recognized activities including those that are difficult to discriminate only considering inertial sensors, and the ones that are highly context-dependent. In this paper, we propose CAVIAR, a novel hybrid semi-supervised and knowledge-based system for real-time activity recognition. Our method applies semantic reasoning to context data to refine the prediction of a semi-supervised classifier. The context-refined predictions are used as new labeled samples to update the classifier combining self-training and active learning techniques. Results on a real dataset obtained from 26 subjects show the effectiveness of the context-aware approach both on the recognition rates and on the number of queries to the subjects generated by the active learning module. In order to evaluate the impact of context reasoning, we also compare CAVIAR with a purely statistical version, considering features computed on context data as part of the machine learning process.

연구 동기 및 목표

• 순수한 통계 기반 활동 인식의 한계를 해결하기 위해, 맥락에 따라 달라지거나 운동 패턴이 유사한 활동(예: 걷기 vs. 계단 오르내림, 서 있음 vs. 엘리베이터 탑승)을 구분하는 데 어려움을 겪는 문제를 해결한다.
• 능동 학습과 맥락 인식 보완을 통한 준지도 학습을 활용하여 수동 레이블링의 부담을 줄인다.
• 동적이고 불완전한 맥락 데이터를 가진 현실 세계 시나리오에서 활동 인식 시스템의 확장성과 내구성을 향상시킨다.
• 지식 기반 맥락 추론이 기계 학습 모델의 특성으로 맥락 데이터를 사용하는 것보다 성능이 뛰어나다는지 평가한다.
• 맥락 인식 추론이 기본 운동 패tern을 넘어서는 복잡한 맥락 의존 활동을 인식할 수 있음을 보여준다.

제안 방법

• 점진적 분류기가 관성 센서 데이터를 처리하여 가능한 활동들에 대한 확률 분포를 생성한다.
• 지식 기반 추론 엔진은 위치의 의미론적 특성, 시간대, 대중교통 접근성 등의 맥락 온톨로지를 사용하여 통계적 예측에서 의미적으로 불가능한 활동을 걸러낸다.
• 센서 데이터와 맥락 추론을 기반으로 보완된 예측 결과가 시스템의 최종 출력이 된다.
• 시스템이 보완된 예측에 확신을 가질 경우, 이를 새로운 레이블된 샘플로 삼아 자기 학습을 통해 분류기 업데이트를 수행한다.
• 확신이 낮을 경우, 사용자에게 진정한 레이블을 요청하며, 이를 통해 분류기를 추가로 학습시킨다.
• 온톨로지 확장을 통해 새로운 맥락 소스를 동적으로 통합함으로써 재학습을 피하고 모델의 적응 능력을 유지한다.

실험 결과

연구 질문

• RQ1 관련 맥락 추론을 통해 관성 센서만으로는 달성하기 어려운 복잡하고 맥락 의존적인 활동의 인식 정확도를 뚜렷이 향상시킬 수 있는가?
• RQ2 기계 학습 파이프라인에서 맥락 데이터를 의미론적 추론을 통해 사용하는 것이 원시적 특성으로 사용하는 것보다 성능이 뛰어나게 되는가?
• RQ3 지식 기반 추론 통합이 능동 학습에서 사용자 쿼리 수를 얼마나 줄이는가?
• RQ4 활동 인식의 복잡성과 다양성이 증가함에 따라 시스템의 확장성은 어떻게 유지되는가?
• RQ5 재학습 없이도 새로운 맥락 소스에 적응하면서 사용자 상호작용을 최소화하고 높은 성능을 유지할 수 있는가?

주요 결과

• CAVIAR는 맥락을 원시적 특성으로 다루는 기준 방법보다 특히 '엘리베이터 탑승'이나 '자동차 이동'과 같은 복잡하고 맥락 의존적인 활동에서 뚜렷이 높은 인식률을 달성한다.
• 능동 학습 모듈이 유발하는 사용자 쿼리 수가 맥락을 특성으로 사용하는 방법보다 크게 감소했으며, 이는 더 정확한 맥락 기반 필터링 덕분이다.
• 다양한 활동 집합에 걸쳐 높은 성능을 유지함으로써 확장성과 복잡한 활동 증가에 대한 내구성을 입증한다.
• 맥락 인식 추론 덕분에 관성 센서만으로는 구분하기 어려운 활동, 예를 들어 걷기와 계단 오르내림을 인식할 수 있다.
• 온톨로지 기반 추론을 사용함으로써 완전하고 일관된 맥락 데이터에 대한 의존도를 낮추었으며, 누락된 값이 있어도 시스템이 붕괴되지 않는다. 이는 특성 기반 접근 방식과는 대조된다.
• 특성 기반 맥락 통합보다 모델 재학습 없이도 새로운 맥락 소스를 온톨로지 확장만으로 추가 가능하므로 더 확장 가능하고 유지보수 용이하다.