[論文レビュー] E2PNet: Event to Point Cloud Registration with Spatio-Temporal Representation Learning

Xiuhong Lin, Changjie Qiu+7 more|arXiv (Cornell University)|Nov 30, 2023

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

E2PNet は、イベントデータをスパarselyかつ不均一に分布するものから、構造的な2次元グリッド形状の特徴テンソルに変換するための Event-Points-to-Tensor (EP2T) ネットワークを導入した、イベントから点群への登録を初めて学習ベースで行う手法である。これにより、RGBベースの2次元-3次元登録フレームワークを直接利用可能となり、従来のRGBベース手法と比較して極端な照明条件や運動ブラー下でも優れた精度と耐性を達成した。

ABSTRACT

Event cameras have emerged as a promising vision sensor in recent years due to their unparalleled temporal resolution and dynamic range. While registration of 2D RGB images to 3D point clouds is a long-standing problem in computer vision, no prior work studies 2D-3D registration for event cameras. To this end, we propose E2PNet, the first learning-based method for event-to-point cloud registration. The core of E2PNet is a novel feature representation network called Event-Points-to-Tensor (EP2T), which encodes event data into a 2D grid-shaped feature tensor. This grid-shaped feature enables matured RGB-based frameworks to be easily used for event-to-point cloud registration, without changing hyper-parameters and the training procedure. EP2T treats the event input as spatio-temporal point clouds. Unlike standard 3D learning architectures that treat all dimensions of point clouds equally, the novel sampling and information aggregation modules in EP2T are designed to handle the inhomogeneity of the spatial and temporal dimensions. Experiments on the MVSEC and VECtor datasets demonstrate the superiority of E2PNet over hand-crafted and other learning-based methods. Compared to RGB-based registration, E2PNet is more robust to extreme illumination or fast motion due to the use of event data. Beyond 2D-3D registration, we also show the potential of EP2T for other vision tasks such as flow estimation, event-to-image reconstruction and object recognition. The source code can be found at: https://github.com/Xmu-qcj/E2PNet.

研究の動機と目的

• クロスモodalな2次元-3次元登録分野における、イベントから点群への登録を学習ベースで行う手法の欠如という、重要なギャップを解消すること。
• 空間的に疎でありながら時間的に密集したイベントデータ—空間的に疎であるが時間的に密集している—を効果的に表現し、グリッド形状の特徴テンソルに変換するための表現ネットワークの設計。
• ハイパーパramーターや学習手順を変更せずに、既存のRGBベースの2次元-3次元登録フレームワークへの直接統合を可能にすること。
• 従来のRGBカメラが失敗する過剰露出や運動ブラーといった極端な条件下での耐性を向上させること。
• EP2Tモジュールの汎用性を、登録以外のタスク、例えばオプティカルフロー、イベントから画像への再構成、物体認識などにまで拡張することを示すこと。

提案手法

• イベントデータを空間的・時間的ポイントクラウドとして扱い、空間的および時間的次元に対して別々のサンプリングと情報集約を適用する、新規のイベント表現ネットワーク EP2T を提案。
• イベントデータに見られる不均一な空間的・時間的分布に基づき、特徴を適応的に重み付けするための、空間的・時間的分離型アテンション機構を採用。
• 適応的サンプリングを用いた PointNet++ ベースのアーキテクチャを採用し、イベントポイントクラウドからの局所的特徴を抽出することで、計算コストを低減しつつも、空間的・時間的詳細を保持。
• 得られた特徴表現を2次元グリッド形状のテンソルに変換し、既存の2次元-3次元登録フレームワーク（例：LCD）とのプラグアンドプレイ互換性を実現。
• 既存のSLAMデータセットから E2P データセット（MVSEC-E2P）を生成するためのデータ構築パイプラインを導入し、エンド・トゥ・エンドの学習を可能に。
• EP2T のサンプリングポイント数を調整することで、精度と効率の柔軟なトレードオフを実現でき、最適な性能は512ポイントで達成された。

実験結果

リサーチクエスチョン

• RQ1 イベントデータを構造的な2次元特徴テンソルとして効果的に表現でき、これにより既存のRGBベースの2次元-3次元登録フレームワークをイベントから点群への登録に応用できるか？
• RQ2 空間的に疎でありながら時間的に密集したイベントデータの空間的・時間的不均一性を、重要な運動および外観の詳細を保持する形でモデル化できるか？
• RQ3 イベントベースの2次元-3次元登録は、従来のRGBベース手法に比べ、極端な照明条件や運動ブラー下でも優れた性能を示すか？
• RQ4 EP2Tモジュールは、登録以外の視覚タスク、例えばオプティカルフロー推定やイベントから画像への再構成など、他のタスクにもどれほど汎用的に応用可能か？
• RQ5 EP2Tモジュールにおけるサンプリングポイント数の変更が、効率と精度のトレードオフにどのように影響するか、またリアルタイムデプロイメントに最適化するにはどうすればよいか？

主な発見

• MVSEC-E2P データセットにおいて、E2PNet は回転誤差 3.606°、並進誤差 0.821m を達成し、RGBベースの LCD（6.336°、1.347m）や手作業によるイベントテンソル化手法を顕著に上回った。
• ハイブリッド E-統計量ベースライン（3つの手作業手法を組み合わせたもの）は回転誤差 4.968°、並進誤差 1.297m を示したが、E2PNet ではそれぞれ 3.606° と 0.821m に低減された。
• 512個の EP2T サンプリングポイントで、E2PNet は 65.51ms の推論時間と 2.99GB のメモリ使用量を達成し、他のベースラインと同等の性能を維持しながらも、より高い精度を実現した。
• EP2T サンプリングポイント数を増やすことで精度が向上（例：16,384ポイントで回転誤差 3.247°）するが、同時にメモリ使用量と処理時間も増加し、明確な効率-精度トレードオフが確認された。
• EP2T モジュールは登録を越えて良好な汎用性を示し、オプティカルフロー推定、イベントから画像への再構成、物体認識タスクにおいても強力な性能を発揮した。
• 提案された E2P データセット構築パイプラインにより、既存の SLAM データセットから正確で大規模な E2P データセットを構築可能となり、将来的なイベントベース3次元認識研究を促進する。