[논문 리뷰] HARDVS: Revisiting Human Activity Recognition with Dynamic Vision Sensors

Xiao Wang, Zongzhen Wu외 6명|arXiv (Cornell University)|2022. 11. 17.

Context-Aware Activity Recognition Systems인용 수 8

한 줄 요약

이 논문은 DAVIS346 카메라를 사용해 촬영한 300개의 인간 활동 카테고리와 100만 건이 넘는 이벤트 시퀀스를 포함한 대규모 벤치마크 데이터셋 HARDVS를 소개하고, 이벤트 기반 인간 활동 인식을 위한 새로운 공간-시간 트랜스포머 기반 프레임워크인 ESTF를 제안한다. ESTF는 스템넷과 트랜스포머 인코더를 통해 이중 시각의 공간적 및 시간적 특징을 학습함으로써 인식 성능를 향상시키며, N-Caltech101 및 ALS-DVS 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

The main streams of human activity recognition (HAR) algorithms are developed based on RGB cameras which are suffered from illumination, fast motion, privacy-preserving, and large energy consumption. Meanwhile, the biologically inspired event cameras attracted great interest due to their unique features, such as high dynamic range, dense temporal but sparse spatial resolution, low latency, low power, etc. As it is a newly arising sensor, even there is no realistic large-scale dataset for HAR. Considering its great practical value, in this paper, we propose a large-scale benchmark dataset to bridge this gap, termed HARDVS, which contains 300 categories and more than 100K event sequences. We evaluate and report the performance of multiple popular HAR algorithms, which provide extensive baselines for future works to compare. More importantly, we propose a novel spatial-temporal feature learning and fusion framework, termed ESTF, for event stream based human activity recognition. It first projects the event streams into spatial and temporal embeddings using StemNet, then, encodes and fuses the dual-view representations using Transformer networks. Finally, the dual features are concatenated and fed into a classification head for activity prediction. Extensive experiments on multiple datasets fully validated the effectiveness of our model. Both the dataset and source code will be released on \url{https://github.com/Event-AHU/HARDVS}.

연구 동기 및 목표

• 실제 환경에서의 대규모 이벤트 기반 인간 활동 인식 데이터셋 부족 문제를 해결하기 위해 다양한 조건에서 촬영된 다각도의 대규모 벤치마크를 구축한다.
• 새로운 데이터셋에서 10개 이상의 최신 기술 수준 HAR 모델을 평가하여 향후 연구를 위한 광범위한 베이스라인을 제공한다.
• 향상된 이벤트 기반 동작 인식을 위한 새로운 공간-시간 특징 학습 및 융합 프레임워크를 개발한다.
• 제안된 모델의 효과성을 다양한 데이터셋과 환경 설정에서 검증한다.

제안 방법

• 다양한 조건(조도 변화, 운동 속도, 가림, 동적 배경 등)에서 촬영된 300개의 인간 활동 카테고리와 100만 건 이상의 이벤트 시퀀스를 포함한 대규모 데이터셋인 HARDVS를 제안한다.
• 이벤트 스트림을 공간적 및 시간적 토큰으로 임bedding하기 위해 스템넷을 사용해 특징 추출을 수행하는 이중 분지 프레임워크인 ESTF를 설계한다.
• 공간적 및 시간적 특징을 독립적으로 학습하고 표현하기 위해 별도의 트랜스포머 인코더인 SpatialFormer과 TemporalFormer을 사용한다.
• 분류 헤드로의 최종 예측을 위해 이중 시각 표현을 연결(concatenation)하여 융합한다.
• 공간적 특징 처리를 위해 비중복 패치 분할(예: 4×4)을 사용하고, 다양한 트랜스포머 깊이 설정(1–4층)을 평가한다.
• 특징 표현과 모델 성능를 해석하기 위해 t-SNE 시각화와 혼동 행렬 분석을 수행한다.

실험 결과

연구 질문

• RQ1 대규모 실생활 이벤트 기반 HAR 벤치마크는 이브넷 카메라 기반 활동 인식 모델의 평가 및 개발을 향상시킬 수 있는가?
• RQ2 제안된 ESTF 프레임워크는 이벤트 스트림에서 공간적 및 시간적 특징을 효과적으로 학습하고 융합하여 동작 인식에 기여하는가?
• RQ3 제안된 ESTF 모델에서 패치 크기와 트랜스포머 깊이의 최적 설정은 무엇인가?
• RQ4 다양한 실생활 조건에서 제안된 모델은 기존 베이스라인 대비 정확도와 내성성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 ESTF 모델은 N-Caltech101 및 ALS-DVS 데이터셋 모두에서 최신 기술 수준 성능를 달성하며, 뛰어난 인식 정확도를 보여준다.
• 특징 추출에 최적의 공간 패치 크기는 4×4이며, 이는 HARDVS 데이터셋에서 83.17%의 top-1 정확도, 94.20%의 top-5 정확도, 77.37%의 평균 정확도를 기록한다.
• 1~3개의 트랜스포머 레이어를 사용할 경우 최고의 성능를 기록하며, 평균 정확도 77.37%를 달성한다. 이는 더 깊은 네트워크가 최적의 훈련을 위해 더 큰 데이터셋이 필요할 수 있음을 시사한다.
• 시각화 결과는 ESTF가 베이스라인 ResNet18보다 더 구분력 있는 특징 표현을 학습함을 보여주며, t-SNE 투영에서 더 우수한 클래스 간 분리도를 확보한다.
• HARDVS에서의 혼동 행렬 분석 결과는 향후 개선 여지가 상당히 남아 있음을 확인하며, 데이터셋의 도전성과 다양성을 재확인한다.
• 모델은 8프레임의 비디오당 25ms의 추론 시간, 377.34MB의 모델 크기, 46.71M개의 파라미터를 기록하며, 높은 효율성과 실용성을 입증한다.