[논문 리뷰] A Neuro-Symbolic Approach to Structured Event Recognition

Lago, Paula, Takeda, Shingo외 5명|arXiv (Cornell University)|2020. 06. 18.

Context-Aware Activity Recognition Systems참고 문헌 13인용 수 9

한 줄 요약

이 논문은 요리 시나리오에서 구조적 이벤트 인식을 위한 새로운 다중 센서, 이중 레벨 레이블 데이터셋을 소개한다. 이는 운동 캡처, 스마트폰, 스마트워치를 활용하여 매크로 활동(레시피)과 마이크로 활동(단계)을 통합한다. 연구에서는 통계적 특징을 4초 창으로 사용하고 SVM/RFF 분류기로 마이크로 활동 인식 성능을 최적화한 결과, 마이크로 평균 F1 스코어 68.5%를 기록하였다. 이는 복잡한 활동 인식에서 데이터 불균형과 비주기성 문제를 강조한다.

ABSTRACT

Complex activity recognition can benefit from understanding the steps that compose them. Current datasets, however, are annotated with one label only, hindering research in this direction. In this paper, we describe a new dataset for sensor-based activity recognition featuring macro and micro activities in a cooking scenario. Three sensing systems measured simultaneously, namely a motion capture system, tracking 25 points on the body; two smartphone accelerometers, one on the hip and the other one on the forearm; and two smartwatches one on each wrist. The dataset is labeled for both the recipes (macro activities) and the steps (micro activities). We summarize the results of a baseline classification using traditional activity recognition pipelines. The dataset is designed to be easily used to test and develop activity recognition approaches.

연구 동기 및 목표

• 복잡한 활동 인식을 위한 개방형 다중 분해상도 데이터셋의 부족을 해결하고, 매크로(레시피) 및 마이크로(단계) 활동 레이블을 모두 포함한 새로운 데이터셋을 제안한다.
• 실제 요리 환경에서 시각적(운동 캡처) 및 관성적(스마트폰, 스마트워치) 센서 데이터를 융합하여 구조적 이벤트 인식 연구를 가능하게 한다.
• 기존의 활동 인식 파ip라인을 마이크로 활동에 적용하여 데이터 불균형, 비주기성, 개인 간 변동성 등의 과제를 규명한다.
• 상용 웨어러블 장치를 활용한 실제 환경에서의 데이터 수집을 통해 다양한 센서 모odal리티를 갖춘 벤치마크 데이터셋을 제공한다.

제안 방법

• 3종류의 센서 모달리티를 사용하여 데이터를 수집했다: 광학적 운동 캡처(25개 신체 지점), 스마트폰 가속도계(허리 및 전완부), 스마트워치(양손에 각각 1대).
• 데이터셋에는 3개의 레시피(매크로 활동)와 10개의 고유한 마이크로 활동이 포함되어 있으며, 두 수준의 레이블이 모두 존재한다.
• 신호는 20Hz로 재샘플링되었고, 창 크기를 1~5초로 설정하여 50% 겹침을 가지는 슬라이딩 윈도우로 분할되었다.
• 두 가지 특징 추출 방법을 사용했다: 시간 도메인 통계 특징(평균, 표준편차, 최대값, 최소값, 첨도, 왜도, IQR, 도함수 평균/표준편차)과 축별로 균일하게 30개의 점을 가지는 경험적 누적분포함수(ECDF) 특징.
• 3종류의 분류기를 평가했다: 선형 및 RBF 커널을 가진 SVM, 그리고 랜덤 포레스트이며, 두 가지 특징 세트를 모두 사용했다.
• 윈도우당 레이블 할당은 윈도우 내에서 가장 긴 지속 시간을 가진 활동을 우선시하여 겹치는 활동 세그먼트를 처리했다.

실험 결과

연구 질문

• RQ1 요리 시나리오에서 비주기적이고 불균형한 마이크로 활동에 기존 활동 인식 파이프라인을 적용했을 때 성능는 어떻게 변할까?
• RQ2 활동 지속 시간이 크게 변동하는 상황에서 마이크로 활동 인식에 최적의 윈도우 크기는 무엇인가?
• RQ3 다른 특징 추출 기법(통계적 vs. ECDF)이 이 데이터셋에서 마이크로 활동 인식 정확도에 어떤 영향을 미치는가?
• RQ4 데이터 불균형은 다중 수준 활동 인식에서 매크로 및 마이크로 평균 F1 스코어에 얼마나 큰 영향을 미치는가?
• RQ5 센서 모달리티와 데이터 품질(예: 왼쪽 스마트워치의 데이터 누락)은 인식 성능과 모델의 강건성에 어떤 영향을 미치는가?

주요 결과

• 마이크로 평균 F1 스코어(68.5%)는 매크로 평균 F1 스코어(45.2%)보다 유의미하게 높았으며, 대부분의 클래스에서는 뛰어난 성능를 보였지만 소수의 마이크로 활동은 여전히 낮은 인식 성능를 보였다.
• 모든 분류기와 윈도우 크기에서 통계적 특징이 ECDF 특징보다 우수했으며, SVM과 통계적 특징을 조합한 4초 윈도우에서 마이크로 평균 F1 스코어 최고 68.5%를 기록했다.
• 모든 분류기에서 최고 성능가 4초 윈도우 크기에서 달성되었으며, 마이크로 활동의 평균 지속 시간(약 3~4초)과 일치하지 않아 시간 해상도와 활동 분할 간의 상충 관계를 시사했다.
• 항상 다수 클래스인 'Take'(취득)를 예측하는 베이스라인 모델은 마이크로 F1 스코어 36%를 기록했으며, 이는 훈련된 모델이 유의미한 개선을 이룬 것이 아니며 데이터 불균형 문제의 과제를 강조한다.
• 동일한 하드웨어를 사용했음에도 불구하고 왼쪽 스마트워치는 높은 데이터 누락 비율을 보였으며, 웨어러블 센서 배포에서의 실제 데이터 품질 문제를 부각시켰다.
• 운동 캡처와 상용 웨어러블 기기의 조합은 다양한 데이터 품질과 센서 모달리티 조합 하에서 모델의 강건성 평가를 위한 현실적인 벤치마크를 제공한다.