[논문 리뷰] N-ImageNet: Towards Robust, Fine-Grained Object Recognition with Event Cameras

Junho Kim, Jaehyeok Bae외 3명|arXiv (Cornell University)|2021. 12. 02.

Advanced Memory and Neural Computing참고 문헌 43인용 수 10

한 줄 요약

이 논문은 1,000개의 ImageNet 클래스에 걸쳐 총 178만 개의 샘플을 포함하는 대규모이고 세분화된 이벤트 카메라 데이터셋인 N-ImageNet을 소개한다. 이 데이터셋은 이미지넷 이미지를 표시하는 모니터 앞에서 이동하는 이벤트 카메라로 수집되었다. 연구 결과, N-ImageNet에서 사전 훈련을 수행하면 이벤트 기반 분류기의 성능과 일반화 능력이 크게 향상되며, 특히 소수의 샘플이 있는 설정에서 두드러진다. 또한 운동 및 조도 변화에 대한 내성을 높이는 새로운 이벤트 표현인 DiST(할인 및 정렬된 타임스탬프)를 제안한다. 이는 다양한 환경 조건에서 N-ImageNet 변형 버전에서 기존 방법들을 능가한다.

ABSTRACT

We introduce N-ImageNet, a large-scale dataset targeted for robust, fine-grained object recognition with event cameras. The dataset is collected using programmable hardware in which an event camera consistently moves around a monitor displaying images from ImageNet. N-ImageNet serves as a challenging benchmark for event-based object recognition, due to its large number of classes and samples. We empirically show that pretraining on N-ImageNet improves the performance of event-based classifiers and helps them learn with few labeled data. In addition, we present several variants of N-ImageNet to test the robustness of event-based classifiers under diverse camera trajectories and severe lighting conditions, and propose a novel event representation to alleviate the performance degradation. To the best of our knowledge, we are the first to quantitatively investigate the consequences caused by various environmental conditions on event-based object recognition algorithms. N-ImageNet and its variants are expected to guide practical implementations for deploying event-based object recognition algorithms in the real world.

연구 동기 및 목표

• 이벤트 기반 물체 인식을 위한 대규모이고 세분화된 데이터셋의 부족 문제를 해결하여 강력하고 일반화 능력이 뛰어난 알고리즘 개발을 촉진하기 위함.
• 다양한 환경 조건(예: 다양한 카메라 궤적과 조도 수준)에서 이벤트 기반 분류기의 정량적 평가를 가능하게 하는 벤치마크를 제공하기 위함.
• 기존 이벤트 기반 인식 모델의 실세계 환경 변화에 대한 민감도를 조사하여 설정에 특화된 편향에 대한 인식을 제고하기 위함.
• 운동 왜곡과 조도 변화와 같은 외부 변화에 대한 내성을 향상시키는 새로운 이벤트 표현인 DiST를 제안하기 위함.
• 미래의 실생활 이벤트 기반 시각 시스템 구현을 위한 기초로 N-ImageNet과 그 변형들을 확립하기 위함.

제안 방법

• N-ImageNet은 프로그래밍 가능한 방식으로 이동하는 이벤트 카메라를 사용해 LCD 모니터에 표시된 ImageNet 이미지 앞에서 수집되며, 1,000개 클래스 전반에 걸쳐 일관되고 고품질의 이벤트 시퀀스를 확보한다.
• 이 데이터셋은 이벤트 기반 분류기의 사전 훈련을 지원하도록 구성되어 있으며, 총 1,781,167개의 샘플과 1,000개의 세분화된 클래스를 포함하여 기존 벤치마크를 넘어선 스케일과 세분성 수준을 확보한다.
• 카메라 궤적과 조도 조건(예: 어두운 조명, 깜빡임)을 변경하여 실세계 환경 변화를 시뮬레이션하는 N-ImageNet의 여러 변형을 생성한다.
• DiST(DiST: Discounted Sorted Timestamp Image)는 타임스탬프에 지수 할인을 적용하고 공간적으로 정렬함으로써 노이즈를 감소시키고 운동 속도에 대한 불변성을 향상시키는 새로운 이벤트 표현 방식으로 제안된다.
• 모델 성능은 원본 및 변형 N-ImageNet 분할에서 평가되며, 정확도와 SSIM(구조적 유사도 지수)를 사용하여 내성과 표현 일관성을 측정한다.
• 내성은 변형 간 성능 저하 정도로 정량화되며, DiST는 기존 표현 대비 이에 대한 저하를 최소화하는 것으로 확인되었다.

(a)

실험 결과

연구 질문

• RQ1 N-ImageNet에서 사전 훈련을 수행하면 이벤트 기반 분류기의 성능과 소수 샘플 설정에서의 일반화 능력에 어떤 영향을 미치는가?
• RQ2 다양한 카메라 궤적과 조도 조건에서 이벤트 기반 분류기의 성능은 어느 정도 저하되는가?
• RQ3 새로운 이벤트 표현 방식이 환경 변화로 인한 성능 저하를 완화할 수 있는가?
• RQ4 DiST의 구성 요소인 할인과 정렬이 각각 독립적으로나 함께 작용할 때 내성에 기여하는 정도는 어떠한가?
• RQ5 N-ImageNet과 그 변형은 이벤트 기반 시각 시스템에서 내성 평가를 위한 정량적 벤치마크로 얼마나 유용한가?

주요 결과

• N-ImageNet에서 사전 훈련을 수행하면 성능 향상이 뚜렷하게 나타나며, 원본 N-ImageNet 벤치마크에서 모델이 48.93%의 상위-1 정확도를 달성하여 유사 작업에서 이전 방법들을 크게 능가한다.
• 기존 벤치마크에서 훈련된 이벤트 기반 분류기는 N-ImageNet 변형에서 평가 시 일관되고 심각한 성능 저하를 보이며, 훈련 조건에 강한 편향을 지닌다는 것을 시사한다.
• 제안된 DiST 표현 방식은 모든 N-ImageNet 변형에서 가장 높은 내성을 확보하며, 정렬된 타임서피스, DiT, 타임스탬프 이미지 등 기존 모든 기준 방법을 초월하는 성능을 보였다.
• DiST는 원본 및 변형 데이터셋 간 표현 간 SSIM(구조적 유사도 지수)가 가장 높아, 외부 변화에 대한 콘텐츠 일관성이 뛰어나다는 것을 나타낸다.
• 제거 실험 결과, DiST에서 할인과 정렬이 모두 필수적임을 확인하였다. 둘 중 하나를 제거하면 성능 저하가 심각하게 발생하며, 할인은 일관성에 더 큰 기여를 하고, 정렬은 일반화에 더 큰 영향을 미친다.
• N-ImageNet과 그 변형은 이벤트 기반 물체 인식에서 내성 평가를 위한 첫 정량적 벤치마크를 제공하며, 알고리즘 편향과 향상 가능성을 체계적으로 분석할 수 있도록 한다.

(b)