[論文レビュー] The Event-Camera Dataset: Event-based Data for Pose Estimation, Visual Odometry, and SLAM

Elias Mueggler, Henri Rebecq+3 more|arXiv (Cornell University)|Oct 26, 2016

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

本論文では、イベントベースと従来のグローバルシャッターキャプチャを組み合わせたDAVISセンサで収集されたマルチモーダルデータセット、Event-Camera Datasetを紹介する。このデータセットには、インertial測定値とモーションキャプチャシステムからの正確なポーズ情報も含まれる。イベントストリーム、強度フレーム、IMUデータ、正確なポーズラベルが同期されているため、高スピーﾄﾞかつ高ダイナミックレンジなロボティクス分野におけるポーズ推定、ビジュアルオドメトリ、SLAMアルゴリズムの評価が可能である。

ABSTRACT

New vision sensors, such as the Dynamic and Active-pixel Vision sensor (DAVIS), incorporate a conventional global-shutter camera and an event-based sensor in the same pixel array. These sensors have great potential for high-speed robotics and computer vision because they allow us to combine the benefits of conventional cameras with those of event-based sensors: low latency, high temporal resolution, and very high dynamic range. However, new algorithms are required to exploit the sensor characteristics and cope with its unconventional output, which consists of a stream of asynchronous brightness changes (called events) and synchronous grayscale frames. For this purpose, we present and release a collection of datasets captured with a DAVIS in a variety of synthetic and real environments, which we hope will motivate research on new algorithms for high-speed and high-dynamic-range robotics and computer-vision applications. In addition to global-shutter intensity images and asynchronous events, we provide inertial measurements and ground-truth camera poses from a motion-capture system. The latter allows comparing the pose accuracy of ego-motion estimation algorithms quantitatively. All the data are released both as standard text files and binary files (i.e., rosbag). This paper provides an overview of the available data and describes a simulator that we release open-source to create synthetic event-camera data.

研究の動機と目的

• イベントベースビジョンの分野における標準化されたマルチモーダルデータセットの不足に応えるために、同期されたイベント、画像、IMU、正確なポーズデータの包括的コレクションを提供すること。
• 高スピーﾄッドおよび高ダイナミックレンジ環境におけるポーズ推定、ビジュアルオドメトリ、SLAMのための新アルゴリズムの開発と評価を支援すること。
• モーションキャプチャシステムからの正確なカメラポーズを用いることで、自己移動推定アルゴリズムの定量的比較を可能にすること。
• オープンソースのシミュレータを公開することで、合成データ生成を促進すること。
• 標準テキスト形式およびバイナリ形式（rosbag）でデータを公開することで、広範なアクセシビリティを実現し、イベントベースコンピュータビジョン分野の研究を促進すること。

提案手法

• データセットは、グローバルシャッターカメラとイベントベースセンサを1つのピクセルアレイに統合したDAVISセンサを用いて収集された。
• データセットには、明るさの変化を表す非同期イベントストリーム、同期されたグレースケールの強度フレーム、IMUからのインertial測定値、およびモーションキャプチャシステムからの正確なカメラポーズが含まれる。
• すべてのデータは、一般的なロボティクスおよびコンピュータビジョンソフトウェアスタックとの統合を支援するため、テキスト形式およびバイナリ形式（rosbag）の両方で公開されている。
• 制御された実験とアルゴリズムの妥当性検証を可能にするために、合成イベントカメラデータを生成するオープンソースのシミュレータが開発された。
• 実世界および合成環境の両方をカバーすることで、さまざまな条件下でのアルゴリズムの堅牢な評価を可能にしている。
• 正確なポーズの存在により、自己移動推定性能の定量的ベンチマークが可能である。

実験結果

リサーチクエスチョン

• RQ1 イベントベースと従来のイメージングデータを効果的に統合することで、ロボティクスにおける高スピーﾄッドモーション推定をどのように向上させられるか？
• RQ2 高い時間分解能とダイナミックレンジが、挑戦的な環境下でのビジュアルオドメトリおよびSLAM性能に与える影響は何か？
• RQ3 モーションキャプチャシステムからの正確なポーズを用いることで、自己移動推定アルゴリズムはどの程度正確に評価可能か？
• RQ4 オープンソースのシミュレータによって生成された合成イベントカメラデータは、実世界のセンサ特性をどの程度再現できるか？
• RQ5 リアルタイムアプリケーションにおいて、非同期イベントストリームと同期画像フレームを処理する際の実用的課題は何か？

主な発見

• 本データセットは、高スピーﾄッドおよび高ダイナミックレンジな応用分野を対象とした、イベントベースデータ、強度フレーム、IMU測定値、正確なポーズを統合した包括的でマルチモーダルリソースを提供する。
• 正確なポーズの存在により、ポーズ推定アルゴリズムの正確な定量的評価が可能となり、ベンチマークにとって不可欠である。
• テキスト形式およびバイナリ形式（rosbag）の両方の形式が利用可能であるため、既存のロボティクスおよびコンピュータビジョンフレームワークとの互換性が向上する。
• オープンソースのシミュレータにより、制御された環境下でのアルゴリズム開発およびテストに役立つ合成イベントカメラデータの生成が可能である。
• 多様な環境をカバーしているため、照明条件、運動状態、シーンの複雑さの変化に応じたアルゴリズムの堅牢な評価が可能である。
• イベントベースと従来のイメージングデータの統合により、高スピーﾄッドおよび低レイテンシなロボティクス分野における新たな研究分野が開かれる。