[論文レビュー] A Synchronized Stereo and Plenoptic Visual Odometry Dataset

Niclas Zeller, Franz Quint+1 more|arXiv (Cornell University)|Jul 24, 2018

Robotics and Sensor-Based Localization参考文献 21被引用数 7

ひとこと要約

本論文は、ループクロージャからの真値を備えた、キャリブレーション済みの内部パrameterを有するハンドヘルドプラットフォームで記録された、同期化されたステレオおよびプレノプティックビジョウオドメトリ（VO）データセットを提示する。このデータセットにより、モノクローラル、ステレオ、プレノプティックVOアルゴリズムの定量的比較が可能となり、低照度への感受性や運動歪みの課題にもかかわらず、プレノプティックベースの手法が競争力のあるドリフト性能を示すことが明らかになった。

ABSTRACT

We present a new dataset to evaluate monocular, stereo, and plenoptic camera based visual odometry algorithms. The dataset comprises a set of synchronized image sequences recorded by a micro lens array (MLA) based plenoptic camera and a stereo camera system. For this, the stereo cameras and the plenoptic camera were assembled on a common hand-held platform. All sequences are recorded in a very large loop, where beginning and end show the same scene. Therefore, the tracking accuracy of a visual odometry algorithm can be measured from the drift between beginning and end of the sequence. For both, the plenoptic camera and the stereo system, we supply full intrinsic camera models, as well as vignetting data. The dataset consists of 11 sequences which were recorded in challenging indoor and outdoor scenarios. We present, by way of example, the results achieved by state-of-the-art algorithms.

研究の動機と目的

• プレノプティックカメラベースのビジョウオドメトリ（VO）アルゴリズムを評価するための公開済みで同期化されたデータセットの不足に対処すること。
• 共通のベンチマークプラットフォームを用いて、ステレオ、モノクローラル、プレノプティックVOシステム間の定量的比較を可能にすること。
• 開始および終了のシーンが同一である大規模なループトラジェクトリデータセットを提供し、ループクロージャを用いたドリフト測定を可能にすること。
• ステレオおよびプレノプティックカメラの両方の内部パrameterおよびヴィニェティングデータを含む、完全なカメラキャリブレーションデータを提供すること。
• 統一されたデータセット上で最先端のVOアルゴリズムを評価し、センサータイプごとの性能トレードオフを評価すること。

提案手法

• マイクロレンズアレイ（MLA）ベースのプレノプティックカメラ（Raytrix R5）とステレオカメラシステム（2台のIDS UI-3241LE-M-GLモノクロームグローバルシャッターカメラ）を統合したカスタムハンドヘルドプラットフォームを採用。
• ステレオシステムは100 mmのベースラインと4 mmの焦点距離のレンズを採用。プレノプティックカメラは16 mmのメインレンズとf/2.8の絞りを採用。
• 同期化は、1台のステレオカメラをマスターモードに設定し、残りのステレオカメラおよびプレノプティックカメラをスレーブモードでトリガーすることで実現。
• すべてのカメラは30 fps以上で動作し、8ビット量子化を実行。運動歪みを最小限に抑えるために露光時間を8 ms以内に制限。
• ステレオおよびプレノプティックカメラの両方に対して、幾何的カメラキャリブレーションおよびヴィニェティングデータを提供。
• 真値はループクロージャから導出：各シーケンスの開始と終了で同じシーンが撮影され、トラジェクトリの整合性を用いたドリフト測定が可能。

実験結果

リサーチクエスチョン

• RQ1 同期化され、大規模なループトラジェクトリを有する状況下で、プレノプティックカメラベースのビジョウオドメトリは、ステレオおよびモノクローラルVOと比較してどのように性能を発揮するか？
• RQ2 通路、階段、動的な物体といったシーンの特徴が、プレノプティックVOのドリフト性能に与える影響は何か？
• RQ3 センサーセンシティビティ、解像度、視野の違いが、ステレオおよびプレノプティックシステムにおけるVOアルゴリズムの精度と耐障害性に与える影響は何か？
• RQ4 大規模なトラジェクトリにおけるループクロージャが、ビジョウオドメトリのドリフトを評価するための信頼できる真値としてどの程度有効に使えるか？
• RQ5 RGBプレノプティックとモノクロームステレオセンサの露光差およびノイズレベルの違いが、VO性能に与える影響は何か？

主な発見

• プレノプティックベースのVOアルゴリズム（SPO [17]）は、ほとんどのシーケンスで1.5%未満の絶対スケール誤差を達成し、シーケンス#1では最低0.4%の誤差を示した。
• SPOのスケールドリフトは、トラジェクトリ長の0.5%から2.5%の範囲に収まり、シーケンス#2および#3ではモノクローラルORBSLAM2を上回ったが、低テクスチャおよび広角制限の影響により、シーケンス#7および#8では性能が劣化した。
• シーケンス#5（動くバンを含む屋外）では、SPOが光場画像内のオクルージョンの影響で高いドリフト（最大3.5%）を示したが、ステレオおよびモノクローラル手法はより広い視野の利点を活かした。
• SPOのアライメント誤差は、トラジェクトリ長の0.8%から2.1%の範囲にあり、中程度のトラジェクトリドリフトを示しており、豊富なテクスチャと安定した照明のシーケンスで最高の性能を発揮した。
• プレノプティックカメラの低照度感受性（RGBセンサおよびマイクロレンズアパーチャーの影響）により、ノイズが高まるが、6 dBのハードウェアゲインにより部分的に補われた。
• センサの違いにもかかわらず、このデータセットは有効な比較評価を可能にし、プレノプティックVOが従来のステレオおよびモノクローラル手法の有望な代替手段であることが示された。