[論文レビュー] Dense Nonrigid Ground Truth for Optical Flow in Real-World Scenes.

Wenbin Li, Darren Cosker+2 more|arXiv (Cornell University)|Mar 26, 2016

Advanced Vision and Imaging参考文献 9被引用数 2

ひとこと要約

本論文は、同時に撮影された近赤外線（NIR）マーカー列から得られる真値を用いて、RGBベースのトラッキングおよび登録の定量的評価を可能にする、密な実世界の非剛性光流画像データセットを紹介する。本研究では、両スペクトルチャンネルからの補完的情報を統合することで、精度を向上させるRGB-NIRマルチスペクトル光流モデルを提案し、新ベンチマーク上で既存のRGB単一およびマルチスペクトル手法を上回る性能を発揮する。

ABSTRACT

In this paper we present a dense ground truth dataset of nonrigidly deforming real-world scenes. Our dataset contains both long and short video sequences, and enables the quantitatively evaluation for RGB based tracking and registration methods. To construct ground truth for the RGB sequences, we simultaneously capture Near-Infrared (NIR) image sequences where dense markers - visible only in NIR - represent ground truth positions. This allows for comparison with automatically tracked RGB positions and the formation of error metrics. Most previous datasets containing nonrigidly deforming sequences are based on synthetic data. Our capture protocol enables us to acquire real-world deforming objects with realistic photometric effects - such as blur and illumination change - as well as occlusion and complex deformations. A public evaluation website is constructed to allow for ranking of RGB image based optical flow and other dense tracking algorithms, with various statistical measures. Furthermore, we present an RGB-NIR multispectral optical flow model allowing for energy optimization by adoptively combining featured information from both the RGB and the complementary NIR channels. In our experiments we evaluate eight existing RGB based optical flow methods on our new dataset. We also evaluate our hybrid optical flow algorithm by comparing to two existing multispectral approaches, as well as varying our input channels across RGB, NIR and RGB-NIR.

研究の動機と目的

• 光流評価のための実世界的で非剛性に変形するシーンに、密な真値が不足している問題に対処すること。
• 光度効果や隠蔽を伴う現実的な変形を伴う状況において、RGBベースのトラッキングおよび登録手法の定量的ベンチマーク評価を可能にすること。
• RGBとNIRデータを統合して精度を向上させるマルチスペクトル光流モデルの開発。
• 統計的指標を用いて光流アルゴリズムの順位付けが可能な公開評価プラットフォームの提供。

提案手法

• RGBおよび近赤外線（NIR）画像列を同時に撮影し、密なNIRマーカーが非剛性変形の真値を提供する。
• NIRマーカーの位置を用いて、対応するRGB画像列の密な光流真値を計算する。
• 複数の統計的指標を用いてアルゴリズムの順位付けが可能な公開評価ウェブサイトを構築する。
• 両スペクトルチャンネルからの特徴を適応的に組み合わせることで、エネルギー関数を最適化するRGB-NIRマルチスペクトル光流モデルを設計する。
• RGBおよびNIRからの情報を統合するためのエネルギー最小化技術を適用し、ぼやけや照明変化、隠蔽に対する耐性を向上させる。
• 8つの既存のRGB光流手法を評価し、2つのマルチスペクトルベースラインおよび異なる入力チャンネル（RGB、NIR、RGB-NIR）に対して、提案されたハイブリッドモデルと比較する。

実験結果

リサーチクエスチョン

• RQ1 提案されたRGB-NIRマルチスペクトル光流モデルは、実世界の非剛性変形において、最先端のRGB単一手法と比較してどのように性能を発揮するか？
• RQ2 RGBとNIRデータを統合することで、光度的および幾何的条件下で光流精度がどの程度向上するか？
• RQ3 既存のRGB光流手法は、複雑な変形と現実世界の効果を伴う新しい実世界データセット上で、どのように性能を発揮するか？
• RQ4 非剛性シーンにおける光流推定のベースラインとして、NIR単一データを使用した場合の影響は何か？
• RQ5 異なる入力モodal（RGB、NIR、RGB-NIR）が、新ベンチマーク上での光流アルゴリズムの性能に与える影響は何か？

主な発見

• 提案されたRGB-NIRマルチスペクトル光流モデルは、RGB単一手法および2つの既存のマルチスペクトル手法と比較して、新データセット上で優れた性能を発揮する。
• NIRデータの組み込みにより、ぼやけや照明変化、隠蔽領域において特に光流精度が向上する。
• 既存のRGB光流手法は、合成ベンチマークとは対照的に、新データセットでは性能が低下する傾向にあり、実世界評価の必要性が浮き彫りになる。
• 公開評価ウェブサイトにより、複数の誤差指標を用いた一貫性があり統計的に根拠のあるアルゴリズム順位付けが可能になる。
• データセットは現実的な光度効果と複雑な変形を捉えており、合成代替品よりもより困難で代表的なベンチマークを提供する。
• NIRマーカーの使用により、非剛性運動の密で正確な真値が得られ、トラッキングおよび登録システムの信頼性ある評価に不可欠である。