[논문 리뷰] E$^2$(GO)MOTION: Motion Augmented Event Stream for Egocentric Action Recognition

Chiara Plizzari, Mirco Planamente외 5명|arXiv (Cornell University)|2021. 12. 07.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 이벤트 기반 이고정 동작 인식 데이터셋인 N-EPIC-Kitchens를 소개하고, 이벤트 데이터를 활용하여 강건한 동작 인식을 위한 모션 증강 이벤트 스트림 프레임워크인 E²(GO)MOTION을 제안한다. 이 방법은 이벤트 데이터만을 사용하거나 교사-학생 설정을 통해 광학 흐름을 디스틸리게이션함으로써, 볼록한 환경에서 RGB 전용 모델보다 최대 4% 높은 정확도를 달성하며, 추론 시 광학 흐름 계산 없이도 PWC-Net 광학 흐름을 초월하는 실시간 성능을 보인다.

ABSTRACT

Event cameras are novel bio-inspired sensors, which asynchronously capture pixel-level intensity changes in the form of "events". Due to their sensing mechanism, event cameras have little to no motion blur, a very high temporal resolution and require significantly less power and memory than traditional frame-based cameras. These characteristics make them a perfect fit to several real-world applications such as egocentric action recognition on wearable devices, where fast camera motion and limited power challenge traditional vision sensors. However, the ever-growing field of event-based vision has, to date, overlooked the potential of event cameras in such applications. In this paper, we show that event data is a very valuable modality for egocentric action recognition. To do so, we introduce N-EPIC-Kitchens, the first event-based camera extension of the large-scale EPIC-Kitchens dataset. In this context, we propose two strategies: (i) directly processing event-camera data with traditional video-processing architectures (E$^2$(GO)) and (ii) using event-data to distill optical flow information (E$^2$(GO)MO). On our proposed benchmark, we show that event data provides a comparable performance to RGB and optical flow, yet without any additional flow computation at deploy time, and an improved performance of up to 4% with respect to RGB only information.

연구 동기 및 목표

• 고정 동작 인식 분야에서 이벤트 기반 데이터의 부족, 특히 빠른 운동과 환경 변화와 같은 도전적인 조건에서의 문제를 해결하기 위해.
• 이벤트 데이터가 온라인 고정 동작 인식에서 광학 흐름의 강건하고 저지연 대체 수 Mittel이 될 수 있는지 조사하기 위해.
• 이벤트 카메라의 고시간 해상도와 운동 민감도를 최대한 활용하면서도, 테스트 시 광학 흐름 계산을 피할 수 있는 방법을 개발하기 위해.
• 이벤트 기반 모델의 일반화 능력을 본래 환경과 새로운 환경 모두에서 평가하여 환경적 편향을 줄이기 위해.
• N-EPIC-Kitchens 데이터셋을 공개함으로써 고정 환경에서의 이벤트 기반 시각 기반 벤치마크를 구축하기 위해.

제안 방법

• 저자들은 EPIC-Kitchens 데이터셋의 RGB 영상에서 이벤트 스트림을 시뮬레이션하여 N-EPIC-Kitchens를 구축하였으며, 광학 흐름과 오디오를 포함한 다중 모odal 데이터를 유지하였다.
• E²(GO)는 2D 및 3D 동작 인식 네트워크(I3D, TSM)를 이벤트 데이터를 직접 처리할 수 있도록 조정하는 방법으로, 합성곱 레이어를 비동기 이벤트 스트림을 처리할 수 있도록 수정한다.
• E²(GO)MO는 교육자-학생 디스틸리게이션 기반 방법으로, 훈련 중에 TV-L1에서 유도된 광학 흐름을 교육자 신호로 사용하여 이벤트 데이터 기반 학습을 통해 운동 인식 표현을 얻는다. 이로써 추론 시 광학 흐름 계산이 필요 없어진다.
• 이벤트 데이터는 시간적 버킷화 전략을 사용하여 볼륨 격자로 인코딩되어 운동 역학을 유지하면서도 표준 영상 모델과의 호환성을 확보한다.
• 이 프레임워크는 교육자-학생 디스틸리게이션 파이프라인을 사용하며, 학생 모델이 교육자 모델의 광학 흐름 인식 표현을 모방하도록 학습한다. 이 과정에서 유일하게 오프라인 광학 흐름 계산이 훈련 중에 사용된다.
• 모델은 본래 환경과 새로운 환경 모두에서 평가되어 도메인 이동에 대한 강건성을 테스트하였으며, 모odal 융합 및 모델 아키텍처에 대한 분석도 수행되었다.

실험 결과

연구 질문

• RQ1 RGB 및 광학 흐름과 비교해 볼 때, 이벤트 데이터만으로도 고정 동작 인식에서 경쟁적인 성능을 달성할 수 있는가?
• RQ2 환경적 편향을 줄이기 위해, 이벤트 기반 학습이 새로운 환경에서 RGB 기반 모델보다 더 잘 일반화되는가?
• RQ3 훈련 중에 광학 흐름 지식을 이벤트 데이터에 디스틸리게이션함으로써, 추론 시 광학 흐름 계산이 필요 없이도 높은 성능을 달성할 수 있는가?
• RQ4 정확도와 추론 속도 측면에서, 이벤트 기반 모델의 성능은 PWC-Net과 같은 엔드 투 엔드 광학 흐름 모델과 비교해 어떻게 되는가?
• RQ5 이벤트 데이터와 운동 표현이 빠른 운동, 웨어러블 환경에서 외관 기반 모델보다 얼마나 더 뛰어나게 성능을 냅니까?

주요 결과

• E²(GO)MO는 이벤트 데이터와 디스틸라이즈된 광학 흐름 지식만을 사용하여 새로운 환경에서 53.98%의 정확도를 달성했으며, 추론 시 광학 흐름 계산이 없음에도 불구하고 PWC-Net 광학 흐름보다 최대 6% 높은 정확도를 기록했다.
• 이벤트 전용 모델(E²(GO))은 새로운 환경에서 38.76%의 정확도를 기록했으며, RGB 전용 I3D(35.65%) 및 TSM(35.97%) 모델을 모두 초월하여 도메인 이동에 대한 강건성을 입증했다.
• E²(GO)MO는 본래 데이터에서 57.87%의 정확도를 달성했고, 프레임당 추론 시간이 6ms에 불과하여 TV-L1 광학 흐름(488ms)에 비해 훨씬 빠르며, 실시간 응용에 적합하다.
• 이벤트 데이터만으로도 본래 데이터에서 55.54%의 정확도를 기록했으며, 일부 설정에서는 RGB 전용 I3D(58.49%)를 능가하여 강력한 운동 표현 능력을 보였다.
• 비록 계산 비용이 높지만, TV-L1 광학 흐름은 본래 데이터에서 58.47%, 새로운 환경에서 43.40%의 정확도를 기록하여 가장 높은 성능을 보였으며, 이는 광학 흐름 계산 과정에서의 노이즈 감소가 성능 향상에 기여했음을 시사한다.
• 결과적으로 이벤트 데이터는 특히 온라인 및 자원 제약이 있는 고정 시스템에서 광학 흐름의 실현 가능하고 저전력 대체 수 Mittel임을 입증했다.