[논문 리뷰] WEAR: An Outdoor Sports Dataset for Wearable and Egocentric Activity Recognition

Marius Bock, Hilde Kuehne외 2명|arXiv (Cornell University)|2023. 04. 11.

Human Pose and Action Recognition인용 수 6

한 줄 요약

이 논문은 18명의 참가자가 10개의 다양한 장소에서 18개의 활동을 수행하는 동안 에고세트릭 비디오와 관성 센서 데이터를 결합한 새로운 외부 스포츠 데이터셋 WEAR를 소개한다. 비전 기반의 시계열 행동 로컬라이제이션 모델인 ActionFormer을 두 모odal리티와 그들의 초기 융합에 적용하여, 단순한 연결(concatenation)을 통한 비전 및 관성 특징 융합이 가장 높은 평균 정밀도(mAP)와 거의 최적에 가까운 F1 점수를 달성함을 입증하였다. 이는 단일 모달리티 및 오라클 빈번 융합 기반 모델보다 뛰어난 성능을 보였다.

ABSTRACT

Though research has shown the complementarity of camera- and inertial-based data, datasets which offer both egocentric video and inertial-based sensor data remain scarce. In this paper, we introduce WEAR, an outdoor sports dataset for both vision- and inertial-based human activity recognition (HAR). The dataset comprises data from 18 participants performing a total of 18 different workout activities with untrimmed inertial (acceleration) and camera (egocentric video) data recorded at 10 different outside locations. Unlike previous egocentric datasets, WEAR provides a challenging prediction scenario marked by purposely introduced activity variations as well as an overall small information overlap across modalities. Benchmark results obtained using each modality separately show that each modality interestingly offers complementary strengths and weaknesses in their prediction performance. Further, in light of the recent success of temporal action localization models following the architecture design of the ActionFormer, we demonstrate their versatility by applying them in a plain fashion using vision, inertial and combined (vision + inertial) features as input. Results demonstrate both the applicability of vision-based temporal action localization models for inertial data and fusing both modalities by means of simple concatenation, with the combined approach (vision + inertial features) being able to produce the highest mean average precision and close-to-best F1-score. The dataset and code to reproduce experiments is publicly available via: https://mariusbock.github.io/wear/

연구 동기 및 목표

• 인간 행동 인식(HAR)을 위한 에고세트릭 비디오와 관성 센서 데이터를 결합한 다중모달 데이터셋의 부족 문제를 해결하기 위해.
• 자연스럽고 트림되지 않은 행동 시퀀스와 최소한의 모달리티 겹침을 가진 도전적인 HAR 벤치마크를 만들기 위해.
• 원래 비디오 전용으로 설계된 비전 기반의 시계열 행동 로컬라이제이션 모델이 관성 센서 데이터에 어떻게 적용될 수 있는지, 그리고 시각적 특징과 융합했을 때의 성능을 평가하기 위해.
• 비전 및 관성 특징의 초기 융합을 통해 뛰어난 성능을 보이며 다중모달 HAR의 새로운 기준을 설정하기 위해.
• 미래의 웨어러블 및 에고세트릭 HAR 연구를 위한 공개적이고 재현 가능한 벤치마크를 제공하기 위해.

제안 방법

• 18명의 참가자가 10개의 외부 장소에서 네 대의 오픈소스 스마트워치(팔과 발에 부착)와 머리에 장착된 카메라를 착용하여 연속적이고 트림되지 않은 데이터를 수집하였다.
• 관성 및 시각 모달리티 간의 정보 겹침이 최소화된 18개의 고유한 스포츠 활동을 포함하며, 의 intensional한 변형이 포함되어 있다.
• 최신 기술 모델 평가: 관성 데이터에 대해서는 DeepConvLSTM 및 Attend-and-Discriminate; 에고세트릭 비디오에 대해서는 TriDet 및 ActionFormer.
• 관성 데이터의 원시 데이터를 3차원 가속도 벡터의 시퀀스로 간주하여, 비전 기반의 시계열 행동 로컬라이제이션 모델(예: ActionFormer)을 직접 적용하였다.
• 모달리티 간의 특징 임베딩을 단순히 연결하여 융합하였으며, 모달리티 전용 융합 모듈을 사용하지 않았다.
• mAP 및 F1 점수를 사용하여 성능 평가를 수행하였으며, 관성 및 시각 모달리티에서 가장 우수한 예측을 조합한 오라클 빈번 융합 기반 모델을 베이스라인으로 설정하였다.

실험 결과

연구 질문

• RQ1 원래 비디오 전용으로 설계된 비전 기반의 시계열 행동 로컬라이제이션 모델이 HAR를 위해 원시 관성 센서 데이터에 효과적으로 적용될 수 있는가?
• RQ2 비전 및 관성 특징의 초기 융합이 mAP 및 F1 점수 측면에서 빈번 융합 및 단일 모달리티 기반 모델과 비교해 어떻게 성능을 내는가?
• RQ3 낮은 모달리티 겹침과 자연스러운 활동 변형을 가진 제안된 다중모달 데이터셋이 관성 및 시각 모달리티의 상호보완적 강점을 드러내는가?
• RQ4 초기 융합이 오라클 빈번 융합을 초월하는 정도는 어느 정도이며, 이는 학습된 융합 기법이 수작업으로 설계된 전략을 능가할 잠재력을 보여주는가?
• RQ5 비전 및 관성 모델의 특징를 단순히 연결함으로써 다중모달 HAR에서 최신 기술 성능을 달성할 수 있는가?

주요 결과

• 비전 및 관성 특징를 초기 융합한 복합 접근 방식이 평가된 모든 방법 중에서 가장 높은 평균 정밀도(mAP)를 기록하였다.
• 융합 모델은 거의 최고의 F1 점수를 달성하여 단일 모달리티 모델과 오라클 빈번 융합 기반 모델 모두를 mAP 측면에서 앞섰다.
• 관성 데이터에서 가장 우수한 성능을 보인 모델(Attend-and-Discriminate)과 시각 모달리티에서 가장 뛰어난 모델(TriDet)은 각각 다른 활동 클래스에서 실패함으로써 상호보완적인 강점을 보였다.
• 비전 기반 모델인 ActionFormer을 관성 데이터에 직접 적용한 결과 경쟁력 있는 성능를 기록하여 이러한 아키텍처가 다양한 모달리티에 걸쳐 유연함을 보임을 입증하였다.
• 오라클 빈번 융합(관성, 시각, 초기 융합 모델의 최고 예측 조합)은 최고의 초기 융합 모델 대비 10%의 mAP 향상을 기록하여, 데이터셋이 아직 포화 상태가 아니며 향후 융합 기법이 현재 성능을 초월할 수 있음을 시사하였다.
• 자연스러운 변형과 낮은 모달리티 겹침을 가진 데이터셋의 설계는 단일 모달리티 모델이 특정 활동 집합에서 실패함으로써 강력한 다중모달 융합의 필요성을 효과적으로 드러내었다.