[論文レビュー] N-ImageNet: Towards Robust, Fine-Grained Object Recognition with Event Cameras

Junho Kim, Jaehyeok Bae+3 more|arXiv (Cornell University)|Dec 2, 2021

Advanced Memory and Neural Computing参考文献 43被引用数 10

ひとこと要約

本論文は、1,000個のImageNetクラスにわたる178万件のサンプルを含む大規模で細分化されたイベントカメラデータセットN-ImageNetを紹介する。このデータセットは、イベントカメラをImageNetの画像を表示するモニタの前で移動させることで収集されたものである。研究では、N-ImageNetで事前学習を施すことで、イベントベース分類器の性能と一般化能力が著しく向上することを示しており、特に低ショット設定下で顕著である。また、運動や照明変化に対して強い耐性を示す、割引およびソートされたタイムスタンプを用いた新規なイベント表現DiSTを提案し、さまざまな環境条件下でN-ImageNetの変種に対して既存手法を上回る性能を発揮した。

ABSTRACT

We introduce N-ImageNet, a large-scale dataset targeted for robust, fine-grained object recognition with event cameras. The dataset is collected using programmable hardware in which an event camera consistently moves around a monitor displaying images from ImageNet. N-ImageNet serves as a challenging benchmark for event-based object recognition, due to its large number of classes and samples. We empirically show that pretraining on N-ImageNet improves the performance of event-based classifiers and helps them learn with few labeled data. In addition, we present several variants of N-ImageNet to test the robustness of event-based classifiers under diverse camera trajectories and severe lighting conditions, and propose a novel event representation to alleviate the performance degradation. To the best of our knowledge, we are the first to quantitatively investigate the consequences caused by various environmental conditions on event-based object recognition algorithms. N-ImageNet and its variants are expected to guide practical implementations for deploying event-based object recognition algorithms in the real world.

研究の動機と目的

• イベントベース物体認識のための大規模で細分化されたデータセットの不足に取り組むこと。これは、耐障害性があり汎用性の高いアルゴリズムの開発を阻害している。
• カメラの軌道や照明レベルの変動といった多様な環境条件下でのイベントベース分類器の定量的評価を可能にするベンチマークを提供すること。
• 現存するイベントベース認識モデルが現実世界の環境変化に対してどれほど感受性を示すかを調査し、設定に依存するバイアスの存在を明らかにすること。
• 運動ブラーおよび照明変化といった外部要因に対して耐性を高める新規なイベント表現DiSTを提案すること。
• N-ImageNetおよびその変種を、イベントベースビジョンシステムの実用的・現実世界への展開に向けた今後の研究の基盤とすること。

提案手法

• N-ImageNetは、LCDモニタに表示されたImageNet画像の前でプログラム制御されたイベントカメラを移動させることで生成され、1,000クラスにわたる一貫性があり高品質なイベントシーケンスを確保している。
• データセットは、イベントベース分類器の事前学習を支援する構造となっており、合計1,781,167件のサンプルと1,000の細分化されたクラスを有し、スケールと粒度の面で既存のベンチマークを凌駕している。
• カメラの軌道や照明条件（例：明るさの低下、点滅）を変更することで、N-ImageNetの複数の変種が作成され、現実世界の環境変化を模擬している。
• DiST（Discounted Sorted Timestamp Image）は、タイムスタンプに指数的割引を適用し、空間的にソートすることでノイズ低減と運動速度への不変性向上を図る新規なイベント表現として提案された。
• 本手法は、オリジナルおよび変種N-ImageNetスプリットにおけるモデル性能を評価し、トップ1正答率とSSIMを用いて耐障害性および表現の一貫性を測定している。
• 耐障害性は、変種間での性能低下の度合によって定量的に評価されており、DiSTはベースライン表現と比較してこの低下を最小限に抑えることが示された。

(a)

実験結果

リサーチクエスチョン

• RQ1 N-ImageNetで事前学習を施すことで、イベントベース分類器の性能と少サンプル一般化能力にどのような影響を与えるか？
• RQ2 カメラの軌道や照明条件が変化する条件下で、イベントベース分類器の性能はどの程度低下するか？
• RQ3 新規なイベント表現が、環境変化に起因する性能低下を緩和できるか？
• RQ4 DiSTの各構成要素（割引とソート）が、それぞれ独立しておよび共同して耐障害性にどのように寄与しているか？
• RQ5 N-ImageNetおよびその変種は、イベントベースビジョンシステムにおける耐障害性評価の定量的ベンチマークとして、どの程度有効に機能するか？

主な発見

• N-ImageNetで事前学習を施すことで、顕著な性能向上が得られ、モデルはオリジナルのN-ImageNetベンチマークで48.93％のトップ1正答率を達成し、類似タスクにおける先行手法を著しく上回った。
• 標準ベンチマークで学習したイベントベース分類器は、N-ImageNetの変種で評価された際、一貫して著しい性能低下を示した。これは、学習条件に強く依存するバイアスが存在することを示している。
• 提案されたDiST表現は、すべてのN-ImageNet変種で最高の耐障害性を達成し、ソートタイムサーフェス、DiT、タイムスタンプ画像といったすべてのベースラインと比較して、環境変化下での正答率が優れていた。
• DiSTは、オリジナルデータセットと変種データセットからの表現間で最高のSSIM（構造的類似度）を達成しており、外部要因の変化に対しても内容の一貫性が優れていることを示している。
• アブレーションスタディにより、DiSTにおける割引とソートの両方が不可欠であることが確認された。両方のコンポONENTを削除すると顕著な性能低下が生じ、特に割引が一貫性向上に、ソートが一般化能力向上に寄与していた。
• N-ImageNetおよびその変種は、イベントベース物体認識における耐障害性評価のための、初めての定量的ベンチマークを提供しており、アルゴリズム的バイアスや改善の系統的分析を可能にした。

(b)