[논문 리뷰] From Chaos Comes Order: Ordering Event Representations for Object Recognition and Detection

Nikola Zubić, Daniel Gehrig외 2명|arXiv (Cornell University)|2023. 04. 26.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 객체 인식 및 검출을 위한 이벤트 표현을 순위 매기고 최적화하기 위해 빠르고 Gromov-Wasserstein 불일치(GWD) 기반의 방법을 제안한다. 신경망 훈련을 거치지 않고도 비용이 많이 드는 과정을 회피한다. GWD가 최종 작업 성능과 강하게 상관됨을 보여줌으로써, 저자들은 12채널 이벤트 표현(ERGO-12)을 발견하였으며, 이는 1Mpx 데이터셋에서 최신 기술 대비 6.0 mAP 향상과 mini-ImageNet에서 3.8% 향상을 기록한다.

ABSTRACT

Today, state-of-the-art deep neural networks that process events first convert them into dense, grid-like input representations before using an off-the-shelf network. However, selecting the appropriate representation for the task traditionally requires training a neural network for each representation and selecting the best one based on the validation score, which is very time-consuming. This work eliminates this bottleneck by selecting representations based on the Gromov-Wasserstein Discrepancy (GWD) between raw events and their representation. It is about 200 times faster to compute than training a neural network and preserves the task performance ranking of event representations across multiple representations, network backbones, datasets, and tasks. Thus finding representations with high task scores is equivalent to finding representations with a low GWD. We use this insight to, for the first time, perform a hyperparameter search on a large family of event representations, revealing new and powerful representations that exceed the state-of-the-art. Our optimized representations outperform existing representations by 1.7 mAP on the 1 Mpx dataset and 0.3 mAP on the Gen1 dataset, two established object detection benchmarks, and reach a 3.8% higher classification score on the mini N-ImageNet benchmark. Moreover, we outperform state-of-the-art by 2.1 mAP on Gen1 and state-of-the-art feed-forward methods by 6.0 mAP on the 1 Mpx datasets. This work opens a new unexplored field of explicit representation optimization for event-based learning.

연구 동기 및 목표

• 각 후보에 대해 전체 신경망 훈련을 수행함으로써 이벤트 표현을 평가하는 데 소요되는 높은 계산 비용을 해결하기 위해.
• 하류 작업 성능에 의해 순위 매겨진 이벤트 표현의 순서를 유지하는 빠르고 신뢰할 수 있는 메트릭을 식별하기 위해.
• 효율적인 대체 메트릭을 사용하여 이벤트 표현에 대한 대규모 하이퍼파ram터 탐색을 가능하게 하기 위해.
• 기존 최신 기술을 뛰어넘는 새로운 고성능 이벤트 표현을 발견하기 위해.

제안 방법

• 원시 이벤트와 그 조밀한 표현 간의 왜곡을 측정하기 위해 Gromov-Wasserstein 불일치(GWD)를 대체 메트릭으로 제안한다.
• 신경망 훈련 없이도 GWD를 사용해 표현을 순위 매겨, 전체 훈련 루프 대비 약 200배 빠른 평가 시간을 확보한다.
• 여러 데이터셋, 백본, 작업 간에 표현의 상대적 성능 순위가 GWD에 의해 유지됨을 입증한다.
• GWD를 사용해 공간, 시간, 채널 기반 설정을 포함한 대규모 이벤트 표현 패밀리에 대한 하이퍼파ram터 탐색을 수행한다.
• GWD를 목적 함수로 사용해 표현 파라미터(예: 시간 창, 공간 빈팅, 특징 정규화)를 최적화한다.
• GWD가 애핀 변환과 특징 연결에 대해 안정적임을 보여주는 불변성 분석을 도입하여, 이로 인해 대체 메트릭으로서의 신뢰성이 향상됨을 입증한다.

실험 결과

연구 질문

• RQ1 빠르고 미분 가능한 대체 메트릭이 이벤트 표현 평가를 위한 전체 신경망 훈련을 대체할 수 있는가?
• RQ2 Gromov-Wasserstein 불일치(GWD)가 다양한 데이터셋과 네트워크 아키텍처 간에 이벤트 표현의 상대적 순위를 유지하는가?
• RQ3 GWD가 대규모 이벤트 표현 공간에 대한 효과적인 하이퍼파ram터 탐색을 가능하게 하는가?
• RQ4 발견된 표현은 기존 최신 기술 대비 객체 검출 및 분류 성능에서 얼마나 향상되는가?
• RQ5 GWD 메트릭은 이벤트 표현에서 흔히 사용되는 변환(예: 애핀 스케일링, 특징 연결)에 대해 얼마나 강건한가?

주요 결과

• GWD 메트릭은 하류 작업 성능과 강하게 상관되어 있어, 신경망 훈련 없이도 이벤트 표현의 정확한 순위 매김이 가능하다.
• 제안된 방법은 전체 훈련 루프 대비 약 200배 빠른 표현 평가 시간을 확보한다.
• 최적화된 12채널 이벤트 표현인 ERGO-12는 1Mpx 객체 검출 벤치마크에서 최신 기술 대비 6.0 mAP 향상을 기록한다.
• ERGO-12는 Gen1 데이터셋에서 mAP를 2.1 향상시키며 최신 기술을 뛰어넘고, mini-ImageNet 벤치마크에서 분류 정확도를 3.8% 향상시킨다.
• 9채널 및 7채널 표현(각각 ERGO-9, ERGO-7)도 MDES 및 바이오닉 그리드와 같은 기존 베이스라인을 뛰어넘는 성능을 기록함을 발견했다.
• 정성적 결과는 ERGO-12가 지도 데이터에 존재하지 않는 객체도 탐지함을 보여주어, 향상된 일반화 능력과 강건성을 나타낸다.