[論文レビュー] EVIMO2: An Event Camera Dataset for Motion Segmentation, Optical Flow, Structure from Motion, and Visual Inertial Odometry in Indoor Scenes with Monocular or Stereo Algorithms

Levi Burner, Anton Mitrokhin+2 more|arXiv (Cornell University)|May 6, 2022

Age of Information Optimization被引用数 11

ひとこと要約

EVIMO2 は、41分間にわたる3台の640×480イベントカメラ、1台の2080×1552の古典的カラー画像カメラ、2台のIMU、およびViconモーショングレースチャップアーカイブを含む高精度なイベントカメラデータセットであり、60 Hz（イベントカメラ）および30 Hz（古典的カメラ）でピixeL単位の真値深度、セグメンテーション、オブジェクトポーズを提供する。これは、モーショングレースセグメンテーション、オプティカルフロー、モーションからの構造、およびビジュアルインertリアルオドメトリーのための高度な評価と学習を可能にし、高速移動物体の200 Hz Viconトラッキングにより、優れたオプティカルフロー精度を実現する。

ABSTRACT

A new event camera dataset, EVIMO2, is introduced that improves on the popular EVIMO dataset by providing more data, from better cameras, in more complex scenarios. As with its predecessor, EVIMO2 provides labels in the form of per-pixel ground truth depth and segmentation as well as camera and object poses. All sequences use data from physical cameras and many sequences feature multiple independently moving objects. Typically, such labeled data is unavailable in physical event camera datasets. Thus, EVIMO2 will serve as a challenging benchmark for existing algorithms and rich training set for the development of new algorithms. In particular, EVIMO2 is suited for supporting research in motion and object segmentation, optical flow, structure from motion, and visual (inertial) odometry in both monocular or stereo configurations. EVIMO2 consists of 41 minutes of data from three 640$ imes$480 event cameras, one 2080$ imes$1552 classical color camera, inertial measurements from two six axis inertial measurement units, and millimeter accurate object poses from a Vicon motion capture system. The dataset's 173 sequences are arranged into three categories. 3.75 minutes of independently moving household objects, 22.55 minutes of static scenes, and 14.85 minutes of basic motions in shallow scenes. Some sequences were recorded in low-light conditions where conventional cameras fail. Depth and segmentation are provided at 60 Hz for the event cameras and 30 Hz for the classical camera. The masks can be regenerated using open-source code up to rates as high as 200 Hz. This technical report briefly describes EVIMO2. The full documentation is available online. Videos of individual sequences can be sampled on the download page.

研究の動機と目的

• 複数の独立して動く物体を含む複雑な屋内シーンにおいて、ピixeL単位の真値深度とセグメンテーションを物理的に記録したラベル付きイベントカメラデータセットの不足を解消すること。
• モーショングレースセグメンテーション、オプティカルフロー、モーションからの構造、およびビジュアルインエラリアルオドメトリーのためのモノクローラルおよびステレオアルゴリズムの評価と学習のベンチマークを提供すること。
• 200 HzのViconトラッキングを活用して、オブジェクトポーズの高周波度測定を実現し、高精細なオプティカルフロー推定を可能にすること。
• EVIMOデータセットを、向上したカメラハードウェア、より長い記録、多様なアルゴリズム評価を可能にするシーケンスの構造的カテゴリに拡張すること。
• 動的な屋内環境における正確なカメラおよびオブジェクトポーズデータを提供することで、ビジュアルインエラリアルオドメトリーおよびSLAM分野の研究を支援すること。

提案手法

• 真値深度とセグメンテーションは、Viconで測定されたポーズを用いて、家庭用の物体および大きなテーブルの高解像度3Dスキャンをカメラの視野に投影することで生成される。
• 校正済みのViconポーズデータと3Dオブジェクトモデルを用いて、イベントカメラでは60 Hz、古典的カメラでは30 HzでピixeL単位の深度とセグメンテーションが計算される。
• オプティカルフローは、200 HzのViconポーズ更新を用いた10 ms間隔でのオブジェクト位置の有限差分近似により得られ、高時間分解能のフローフィールドを可能にする。
• シーケンスは、3台のイベントカメラ（2台のProphesee Gen3、1台のSamsung DVS Gen3）、1台のFlea3古典的カメラ、および2台の6軸IMUを用いて記録され、すべてViconモーショングレースチャップと同期されている。
• データセットは3つのカテゴリに分類されている：独立して動く物体（IMO）、モーションからの構造（SfM）、平面シーンにおける単純な運動（Sanity）、低照度バージョンは厳しい条件を想定している。
• オープンソースのツールが提供され、最大200 Hzでセグメンテーションマスクを再生成可能であり、セグメンテーションおよびオプティカルフローのアルゴリズムの高レート評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 物理的記録に基づくピixeL単位の真値深度とセグメンテーションを有するイベントカメラデータセットは、動的な屋内シーンにおけるオプティカルフロー評価の精度向上に寄与するか？
• RQ2 高速移動の独立して動く物体を含むシーンにおいて、200 Hzの高周波度Viconポーズトラッキングが、真値オプティカルフローの品質をどの程度向上させるか？
• RQ3 詳細なオブジェクトジオメトリとポーズを備えた物理的記録データセット上で学習または評価された場合、モノクローラルおよびステレオイベントベースのアルゴリズムがモーショングレースセグメンテーション、モーションからの構造、およびビジュアルインエラリアルオドメトリーにおいてどの程度有効であるか？
• RQ4 低照度条件はイベントカメラデータに対してどのような課題をもたらすか？EVIMO2は、こうした条件下での耐障害性の高いアルゴリズム開発をどのように支援するか？
• RQ5 3Dオブジェクトスキャンと正確なポーズトラッキングの組み合わせにより、移動するオブジェクトの特徴に沿った微細な差動運動を捉えたオプティカルフロー場を生成できるか？

主な発見

• EVIMO2 は、3台のイベントカメラ、1台の古典的カメラ、2台のIMU、およびViconモーショングレースチャップからの41分間の同期データを提供し、3つのカテゴリに分かれる173のシーケンスを含む。
• イベントカメラでは60 Hz、古典的カメラでは30 HzでピixeL単位の真値深度とセグメンテーションが提供され、最大200 Hzでマスクを再生成可能である。
• 10 ms間隔での200 Hz Viconポーズの有限差分を用いて高品質なオプティカルフロー場が生成され、高速移動の独立して動く物体に対しても正確なフロー推定が可能である。
• データセットには、独立して動く家庭用の物体を含むシーケンスが3.75分、静的シーンが22.55分、浅いシーンにおける基本的な運動が14.85分含まれており、低照度バージョンも含む。
• 家庭用の物体の詳細な3Dスキャンと正確なViconトラッキングを活用することで、オブジェクトの特徴に沿った微細な差動運動を捉えた高精細なオプティカルフロー場が得られ、図3で示されている。
• 特にオクルージョンや複雑な運動を伴う動的な屋内環境において、モーショングレースセグメンテーション、オプティカルフロー、モーションからの構造、およびビジュアルインエラリアルオドメトリーのための、挑戦的なベンチマークをサポートする。