[論文レビュー] Event Camera Calibration of Per-pixel Biased Contrast Threshold

Ziwei Wang, Yonhon Ng+2 more|arXiv (Cornell University)|Dec 17, 2020

Advanced Memory and Neural Computing参考文献 30被引用数 14

ひとこと要約

本稿では、イベントオンliと画像イベントデータの両方を用いて、ピクセルごとのコントラストしきい値のバイアスとばらつきをモデル化する、新しいイベントカメラキャリブレーション手法を提案する。新しいイベント生成モデルを導入し、オフラインおよびオンラインキャリブレーションに線形回帰を適用することで、特にピクセル固有のしきい値不一致やノイズの処理において、最先端の手法に比べて強度画像再構成の精度が顕著に向上する。

ABSTRACT

Event cameras output asynchronous events to represent intensity changes with a high temporal resolution, even under extreme lighting conditions. Currently, most of the existing works use a single contrast threshold to estimate the intensity change of all pixels. However, complex circuit bias and manufacturing imperfections cause biased pixels and mismatch contrast threshold among pixels, which may lead to undesirable outputs. In this paper, we propose a new event camera model and two calibration approaches which cover event-only cameras and hybrid image-event cameras. When intensity images are simultaneously provided along with events, we also propose an efficient online method to calibrate event cameras that adapts to time-varying event rates. We demonstrate the advantages of our proposed methods compared to the state-of-the-art on several different event camera datasets.

研究の動機と目的

• 回路レベルのバイアスと製造上の不具合によるイベントカメラにおけるピクセルごとのコントラストしきい値の不一致問題を解決すること。
• 一様な10%のしきい値を仮定するのではなく、ピクセル固有のしきい値ばらつきをモデル化することで、イベントベースの画像再構成の精度を向上させること。
• 強度画像フィードバックを用いて、イベントオンliカメラ（例：DVS128）とハイブリッド画像イベントカメラ（例：DAVIS、ATIS）の両方に対応するキャリブレーション手法を開発すること。
• 時間的に変化するイベントレートに適応できるオンライン手法を用いて、リアルタイムで適合可能なキャリブレーションを実現すること。
• ピクセルごとのバイアスとしきい値ばらつきを考慮することで、従来手法に比べて優れた再構成品質が得られることを実証すること。

提案手法

• ピクセルごとのバイアス $b^{\bf p}$ とコントラストしきい値 $c^{\bf p}$ を組み込んだ新しいイベント生成モデルを提案し、ピクセル固有の応答特性を可能にする。
• イベントおよび強度画像データから $b^{\bf p}$ と $c^{\bf p}$ を線形回帰により推定し、直接統合による画像と参照強度画像との差を最小化する。
• オフラインキャリブレーション手法（OffE、OffEI）を実装し、イベントオンliカメラおよび画像イベントカメラの最適パラメータを、全データバッチを用いて計算する。
• オンラインキャリブレーション手法（OnEI）を開発し、最近のイベントと強度画像のスライディングウインドウを用いて、リアルタイムでパラメータを継続的に更新する。
• 推定された $b^{\bf p}$ と $c^{\bf p}$ を用いてイベントの直接統合を実行し、DAVISカメラの真値フレームと比較して強度画像を再構成する。
• 安定、ノイズ、バイアス、非活性の4種類のピクセルに分類し、パラメータ推定を支援するとともに、耐障害性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 回路レベルのバイアスと製造上のばらつきは、イベントカメラのピクセルごとのコントラストしきい値にどのように影響を与えるか？
• RQ2 バイアスとしきい値ばらつきを考慮したピクセル固有のイベント生成モデルは、画像再構成精度を向上させることができるか？
• RQ3 時間的に変化するイベントレートを伴う動的環境において、オンラインキャリブレーションの性能はオフラインキャリブレーションに比べてどの程度優れているか？
• RQ4 イベントオンli手法に比べて、画像フィードバックはイベントカメラキャリブレーションの精度をどの程度向上させることができるか？
• RQ5 提案されたキャリブレーション手法は、イベントからの強度画像再構成において、既存の最先端手法を上回ることができるか？

主な発見

• 提案されたオフラインキャリブレーション手法（OffEI）は、データセット内の環境条件が一定であるため、オンライン手法（OnEI）よりもわずかに優れた再構成性能を達成している。
• オンラインキャリブレーション手法（OnEI）は、3つのデータセットすべてにおいて[5]の手法を上回り、時間的に変化するイベントレートに優れた適応性を示している。
• イベントオンliキャリブレーション手法（OffE）は画像ベースの手法に比べて性能が劣るが、3つのデータセットのうち2つでは[5]の手法を上回っており、強度画像が不要な状況でも有効であることが示された。
• すべてのデータセットで、ルート平均二乗誤差（RMSE）が低減され、ピークサイナリオ比（PSNR）と構造的類似度指数（SSIM）が向上しており、再構成画像の忠実度が向上していることが確認された。
• 本手法は、強度がゼロの非活性ピクセルやノイズの多いピクセルといった特殊なピクセルタイプの影響を、適切な $b^{\bf p}$ と $c^{\bf p}$ 値の割り当てにより、効果的に特定・低減している。
• コントラストしきい値は、デフォルトの10%から著しく異なることが判明し、一部のケースでは最大15%まで上昇しており、ピクセルごとのキャリブレーションの必要性が裏付けられた。