[論文レビュー] Are High-Resolution Event Cameras Really Needed?

Daniel Gehrig, Davide Scaramuzza|arXiv (Cornell University)|Mar 28, 2022

Advanced Memory and Neural Computing被引用数 16

ひとこと要約

本論文は、低照度および高スピーﾄﾞ条件下において、高解像度イベントカメラが真に優位性を発揮するかを調査し、低解像度センサーがピクセル当たりのイベントレートが低く、時間的ノイズも少ないので、高解像度のものよりも優れた性能を示すことが多いことを明らかにした。本研究では、高解像度カメラが高帯域幅を要するが、高密度のイベントにより、困難な条件下での性能が劣化することを示した。

ABSTRACT

Due to their outstanding properties in challenging conditions, event cameras have become indispensable in a wide range of applications, ranging from automotive, computational photography, and SLAM. However, as further improvements are made to the sensor design, modern event cameras are trending toward higher and higher sensor resolutions, which result in higher bandwidth and computational requirements on downstream tasks. Despite this trend, the benefits of using high-resolution event cameras to solve standard computer vision tasks are still not clear. In this work, we report the surprising discovery that, in low-illumination conditions and at high speeds, low-resolution cameras can outperform high-resolution ones, while requiring a significantly lower bandwidth. We provide both empirical and theoretical evidence for this claim, which indicates that high-resolution event cameras exhibit higher per-pixel event rates, leading to higher temporal noise in low-illumination conditions and at high speeds. As a result, in most cases, high-resolution event cameras show a lower task performance, compared to lower resolution sensors in these conditions. We empirically validate our findings across several tasks, namely image reconstruction, optical flow estimation, and camera pose tracking, both on synthetic and real data. We believe that these findings will provide important guidelines for future trends in event camera development.

研究の動機と目的

• 高解像度イベントカメラのトレンドが、現実の条件下で実際の利点をもたらすかどうかを調査すること。
• 低照度および高スピーﾄド条件下における解像度、イベントレート、タスクパフォーマンスのトレードオフを分析すること。
• 画像再構成、オプティカルフロー、カメラポーズトラッキングなどの下流ビジョンタスクへのセンサ解像度の影響を評価すること。
• 低ノイズ、低照度、高スピーﾄド条件下で、低解像度イベントカメラがより優れたパフォーマンスを達成できることを、実証的および理論的根拠で示すこと。
• 実用的応用における最適な解像度トレードオフを特定することで、将来のイベントカメラ設計を支援すること。

提案手法

• 著者らは、合成データおよび実世界データを用いて、画像再構成、オプティカルフロー推定、カメラポーズトラッキングの3つの主要タスクを対象に、実験的評価を実施した。
• 昼間および夜間の状況下で、さまざまな運動速度を想定し、128×128から1280×1280までの複数の解像度で性能を比較した。
• モデルベース手法（例：コントラスト最大化、フォトメトリックフロー）と学習ベース手法（例：E-RAFT）を用いて、アルゴリズムタイプにわたる一般化性能を評価した。
• ピクセル当たりのイベントレートについて、理論的および実験的に分析し、特に低照度および高運動条件下で、解像度が高くなるとピクセル当たりのイベント生成が増加することを示した。
• 帯域幅とパフォーマンスを、解像度正規化終点誤差（RNEPE）およびポーズトラッキングにおける中央値位置誤差（mm）を用いて定量的に評価した。
• ノイズのあるデータで学習させた影響を評価し、夜間条件を含むデータで学習させることで、学習ベースモデルが解像度の不利要因を補うことができることを示した。

実験結果

リサーチクエスチョン

• RQ1 イベントカメラの解像度を向上させることは、照明条件や運動速度にかかわらず、一貫してパフォーマンスを向上させるのか？
• RQ2 ピクセル当たりのイベントレートは解像度にどのように比例するのか？ また、低照度および高スピーﾄド条件下での時間的ノイズにどのような影響を与えるのか？
• RQ3 高解像度イベントカメラは、イベントレートの飽和やタイムスタンプのずれに起因するパフォーマンス劣化に、より感受性を示すのか？
• RQ4 学習ベース手法は、ノイズの多い条件下で高解像度カメラのパフォーマンス低下を克服できるのか？ もしそうなら、どのような学習条件で可能なのか？
• RQ5 実世界の応用において、タスクパフォーマンスと帯域幅の最良のトレードオフを実現する解像度は何か？

主な発見

• 低照度および高スピーﾄド条件下では、オプティカルフロー推定において低解像度イベントカメラ（例：128×128）が高解像度のもの（例：1280×1280）を上回る性能を示した。夜間設定では、1280×1280のRNEPEが4.72であるのに対し、240×240では3.69であった。
• 高解像度カメラはピクセル当たりのイベントレートが著しく高くなるため、低照度および高スピーﾄド運動下で時間的ノイズが増加し、耐性が低下する。
• カーペットシーケンスでは、夜間条件下で2.4 m/sの速度で移動した際、カメラの中央位置誤差が1280×1280で0.617 mmから640×640で1.01 mmに増加し、解像度が高くなるほど性能が劣化することが示された。
• コントラスト最大化に基づく手法（CM）は高スピーﾄドでのみ劣化を示すが、フォトメトリックベース手法（EPF）は、高解像度センサーを用いる際、低スピーﾄドでも劣化を示した。
• E-RAFTのような学習ベース手法は、理想的な条件下では高解像度カメラで優れたパフォーマンスを発揮するが、ノイズの多い環境では顕著に性能が低下し、低解像度の方が優れた性能を示した。
• ノイズのある夜間データで学習させることで、学習ベースモデルが解像度の不利を補うことができ、データ分布がモデルの耐性に重要であることが示された。