[논문 리뷰] Event-based Action Recognition Using Timestamp Image Encoding Network

Chaoxing Huang|arXiv (Cornell University)|2020. 09. 28.

Advanced Memory and Neural Computing참고 문헌 21인용 수 5

한 줄 요약

이 논문은 이벤트 기반 동작 인식을 위한 타임스탬프 이미지 인코딩 2D CNN 방법을 제안하며, 이방향 이벤트 데이터를 운동 역학을 유지하는 공간-시간 프레임으로 변환한다. 이 방법은 손동작 인식에서 최신 기술 수준(SOTA) 성능을 달성하고 실제 동작 데이터셋에서도 경쟁력 있는 결과를 내며, RNN을 사용하지 않고도 RGB 기반 기준과 유사한 성능을 내고 있다.

ABSTRACT

Event camera is an asynchronous, high frequency vision sensor with low power consumption, which is suitable for human action recognition task. It is vital to encode the spatial-temporal information of event data properly and use standard computer vision tool to learn from the data. In this work, we propose a timestamp image encoding 2D network, which takes the encoded spatial-temporal images of the event data as input and output the action label. Experiment results show that our method can achieve the same level of performance as those RGB-based benchmarks on real world action recognition, and also achieve the SOTA result on gesture recognition.

연구 동기 및 목표

• 스пат리오틸라 정보를 효과적으로 인코딩하여 이벤트 기반 데이터와 표준 딥 러닝 모델 간 격차를 메우기.
• 스태틱한 공간 인코딩을 넘어서 이벤트 데이터 내 시간 정보가 동작 인식에 필수적임을 입증하기.
• 오직 2D CNN만을 사용하여 실제 동작 인식 작업에서 RGB 기반 방법과 유사한 성능를 달성하기.
• 손동작 인식 벤치마크에서 기존 이벤트 기반 방법을 뛰어넘기.

제안 방법

• 고정된 시간 간격 동안 슬라이딩 윈도우를 사용하여 이벤트 데이터를 타임스탬프 이미지로 인코딩하며, 픽셀 강도는 윈도우 내 상대적 타임스탬프를 반영한다.
• 양성 및 음성 극성 이벤트를 별도로 인코딩하여 두 개의 타임스탬프 이미지를 생성한 후, 이를 하나의 다중 채널 프레임으로 통합한다.
• 공간-시간 인코딩은 이벤트의 시간적 진행을 강조함으로써 운동 관련 역학을 유지하며, 정적 이벤트 이미지 히스토그램과는 달리 동적 특성을 보존한다.
• 종료형 2D CNN을 인코딩된 타임스탬프 이미지 프레임에 적용하여 엔드 투 엔드 동작 분류를 수행한다.
• RNN이나 3D 컨볼루션을 회피하고 오직 2D CNN에 의존함으로써 효율성과 단순성을 확보한다.
• +1 및 -1 극성 이벤트를 병합하기 전에 별도로 인코딩함으로써 극성을 유지함으로써 운동 방향이 표현에 그대로 반영되도록 한다.

실험 결과

연구 질문

• RQ1 타임스탬프 이미지 인코딩이 동작 인식을 위한 이벤트 데이터의 공간-시간 역학을 효과적으로 포착할 수 있는가?
• RQ2 타임스탬프 인코딩을 통한 시간 정보 통합이 순수 공간적 이벤트 이미지 인코딩보다 성능 향상에 기여하는가?
• RQ3 타임스탬프 인코딩된 이벤트 데이터를 기반으로 학습된 2D CNN 기반 모델이 RGB 기반 모델과 유사한 성능를 달성할 수 있는가?
• RQ4 기존 최신 기술 수준의 이벤트 기반 접근법과 비교해 손동작 인식에서 이 방법의 성능는 어떠한가?
• RQ5 이벤트 기반 인식이 초기 단계에서는 성능이 열등한데도 후반에는 강력한 성능를 보이는 이유는 무엇인가?

주요 결과

• 5겹 검증에서 타임스탬프 이미지 표현은 83.23%의 정확도를 기록하여 이벤트 이미지 표현(82.00%)을 능가함으로써 시간 인코딩의 중요성을 확인했다.
• EV-UCF-11 데이터셋에서 제안된 방법은 92.90%의 정확도를 달성하여 RGB 기반 기준과 동일한 성능를 보였고, 기존 이벤트 기반 방법인 Motion map + MBH(75.13%)를 뛰어넘었다.
• DVS-128 손동작 데이터셋에서 80ms 윈도우로 97.35%의 정확도를 기록하여 새로운 최신 기술 수준을 수립했으며, PointNet++(97.06%)와 Time Cascade(96.49%)를 모두 능가했다.
• 관측 비율이 10%일 경우 정확도가 79.78%로 급격히 떨어지며, RGB 기반 모델의 89.57%에 못 미침으로써 이벤트 기반 모델이 운동 역학에 크게 의존하고 초기 단계에서는 맥락적 단서가 부족함을 시사한다.
• 3D CNN이나 포인트 클라우드 표현을 사용하는 기존 이벤트 기반 모델보다 성능가 뛰어나, 적절한 인코딩을 갖춘 단순한 2D CNN이 충분하고 효과적임을 입증한다.
• 제거 분석 결과 타임스탬프 이미지에 인코딩된 시간 정보가 필수적임을 확인했으며, 순수 공간 표현은 낮은 정확도를 보였다.