[논문 리뷰] Motion Equivariant Networks for Event Cameras with the Temporal Normalization Transform

Alex Zihao Zhu, Ziyun Wang외 1명|arXiv (Cornell University)|2019. 02. 18.

Functional Brain Connectivity Studies참고 문헌 24인용 수 5

한 줄 요약

이 논문은 시공간 좌표를 타임스탬프로 정규화하여 이벤트 카메라 데이터의 광학 흐름에 대해 불변성을 확보하는 Temporal Normalization Transform (TNT)을 제안한다. 이를 통해 데이터 증강을 광범위하게 적용하지 않더라도 CNN이 운동 변화에 일반화할 수 있도록 한다. 본 방법은 다양한 운동 방향을 포함하는 N-MNIST 및 새로운 N-MOVING-MNIST 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this work, we propose a novel transformation for events from an event camera that is equivariant to optical flow under convolutions in the 3-D spatiotemporal domain. Events are generated by changes in the image, which are typically due to motion, either of the camera or the scene. As a result, different motions result in a different set of events. For learning based tasks based on a static scene such as classification which directly use the events, we must either rely on the learning method to learn the underlying object distinct from the motion, or to memorize all possible motions for each object with extensive data augmentation. Instead, we propose a novel transformation of the input event data which normalizes the $x$ and $y$ positions by the timestamp of each event. We show that this transformation generates a representation of the events that is equivariant to this motion when the optical flow is constant, allowing a deep neural network to learn the classification task without the need for expensive data augmentation. We test our method on the event based N-MNIST dataset, as well as a novel dataset N-MOVING-MNIST, with significantly more variety in motion compared to the standard N-MNIST dataset. In all sequences, we demonstrate that our transformed network is able to achieve similar or better performance compared to a network with a standard volumetric event input, and performs significantly better when the test set has a larger set of motions than seen at training.

연구 동기 및 목표

• 표준 CNN이 운동에 따라 달라지는 이벤트 표현으로 인해 어려움을 겪는 이벤트 기반 분류의 운동 변동성 문제를 해결하기 위해.
• 운동 불변 특징을 기하학적 변환을 통해 학습함으로써 데이터 증강에 대한 의존도를 줄이기 위해.
• 학습 시 사용된 운동과 다른 테스트 운동이 존재하는 저자료 환경에서의 일반화 능력을 향상시키기 위해.
• 운동 불변성 평가를 더 잘 수 있는 30개의 운동 방향을 포함한 새로운 데이터셋 N-MOVING-MNIST을 개발하기 위해.
• 테스트 시 훈련 과정에서 볼 수 없었던 운동 패턴에 대해 TNT를 통한 운동 등변성으로 인해 우수한 성능을 보여주기 위해.

제안 방법

• 각 이벤트 (x, y, t)를 (x/t, y/t, t)로 매핑하는 시간 정규화 변환(TNT)을 제안하며, 이는 시공간 도메인에서 운동을 균일한 평행 이동으로 변환한다.
• 공간 트랜스포머를 사용한 랜드마크 회귀 네트워크를 적용하여 중심 랜드마크를 추정함으로써, 이벤트를 그 주위에 중심화함으로써 평행 이동 불변성을 확보한다.
• TNT 변환된 이벤트를 표준 3D CNN의 입력으로 사용하며, 컨볼루션의 등변성 특성을 활용해 운동 유도 평행 이동에 대해 불변성을 확보한다.
• 두 단계 파이프라인(랜드마크 검출 → TNT 변환)을 사용하여 불변성과 등변성을 모두 확보한다.
• 일정한 흐름 조건 하에서 TNT가 광학 흐름에 대해 네트워크의 등변성을 보장하는 이론적 등가성을 유도한다.
• 변환된 이벤트 볼륨에 표준 3D 컨볼루션을 적용한 볼륨형 CNN을 사용하여 분류를 수행한다.

실험 결과

연구 질문

• RQ1 좌표 변환을 통해 이벤트 기반 데이터에서 CNN이 광학 흐름에 대해 등변성이 되며, 운동 변화에 걸쳐 일반화 능력이 향상될 수 있는가?
• RQ2 시간 정규화 변환(TNT)이 이벤트 기반 분류에서 데이터 증강의 필요성을 줄이는가?
• RQ3 테스트 운동이 훈련 과정에서 보이지 않는 경우, 특히 저자료 환경에서 이 방법의 성능은 어떠한가?
• RQ4 학습된 랜드마크가 고정 중심화보다 성능 향상에 기여하는가?
• RQ5 N-MOVING-MNIST와 같이 높은 운동 다양성을 포함한 데이터셋에 대해 이 방법은 어떻게 스케일링되는가?

주요 결과

• TNT 변환된 네트워크는 N-MNIST 데이터셋에서 표준 볼륨형 CNN과 비교해 성능이 유사하거나 뛰어나다.
• 30개의 운동 방향을 포함하는 N-MOVING-MNIST 데이터셋에서, 테스트 운동이 훈련 시의 운동 다양성보다 초과할 경우 TNT 방법은 표준 CNN보다 뚜렷이 뛰어난 성능을 보인다.
• 이 방법은 예측되지 않은 운동 패턴으로도 잘 일반화되어, 제로샷 운동 일반화 시나리오에서 뛰어난 강건성을 보여준다.
• 랜드마크 회귀 네트워크는 고정 중심화보다 약간의 성능 향상을 제공하며, 관련 이벤트 콘텐츠의 정확한 국소화가 향상됨을 시사한다.
• 이론적 분석을 통해 TNT가 일정한 흐름 조건 하에서 광학 흐름에 대해 등변성을 보장함을 확인하였으며, 컨볼루션 계층을 통해 운동 효과를 유지한다.
• 네트워크 용량이 운동 변화를 학습하기 위해 줄어들며, 데이터로부터 학습하는 대신 변환을 통해 운동 불변성을 명시적으로 인코딩하기 때문이다.