[論文レビュー] Learning the Matching Function

Ľubor Ladický, Christian Häne+1 more|arXiv (Cornell University)|Feb 2, 2015

Advanced Vision and Imaging参考文献 20被引用数 18

ひとこと要約

本稿では、手動で設計された特徴量や明示的な正則化に依存せずに、動きぼけ、照明の変化、季節的変化などの許容可能な視覚的外観変化を自動で同定することで、画像間の画素をマッチングするための判別的トレーニングを施した文脈的マッチング分類器を提案する。この手法は、ステレオマッチング（KITTI）、オプティカルフロー（Sintel）、および新しいTimeLapse変化検出データセットにおいて最先端の性能を達成しており、正則化なしでもテクスチャが乏しい領域においても93.3％の画素単位の正確性と頑健性を示す。

ABSTRACT

The matching function for the problem of stereo reconstruction or optical flow has been traditionally designed as a function of the distance between the features describing matched pixels. This approach works under assumption, that the appearance of pixels in two stereo cameras or in two consecutive video frames does not change dramatically. However, this might not be the case, if we try to match pixels over a large interval of time. In this paper we propose a method, which learns the matching function, that automatically finds the space of allowed changes in visual appearance, such as due to the motion blur, chromatic distortions, different colour calibration or seasonal changes. Furthermore, it automatically learns the importance of matching scores of contextual features at different relative locations and scales. Proposed classifier gives reliable estimations of pixel disparities already without any form of regularization. We evaluated our method on two standard problems - stereo matching on KITTI outdoor dataset, optical flow on Sintel data set, and on newly introduced TimeLapse change detection dataset. Our algorithm obtained very promising results comparable to the state-of-the-art.

研究の動機と目的

• 従来のマッチング関数が画像間の外観変化が最小限であると仮定しているという制限に対処すること。特に、長時間の時間的隔たりがある場合に顕著である。
• ステレオマッチングおよびオプティカルフローにおいて、手動で調整された正則化やヒューリスティックな事前知識に依存しないように、判別的マッチング関数を学習すること。
• 構造的変化と季節的・照明由来の外観変化を区別することで、正確な画素単位の時間的変化検出を可能にすること。
• ステレオマッチング、オプティカルフロー、および変化検出に適用可能な統一的で平行移動に不変な分類器を、二値マッチング意思決定問題として開発すること。
• 都市部の構造的変化に関する人間によるアノテーションを備えた新しいTimeLapseデータセットを提供すること。

提案手法

• マッチングを二値分類問題として定式化する。各画素について、参照画像内の候補画素がマッチするかどうかを予測する。
• 文脈的マッチング関数を判別的トレーニングにより学習し、スケールや空間的位置に応じた関連ある外観変化および特徴量の重要度を自動で同定する。
• 分類器は平行移動に不変であるため、画像のシフトに対しても一貫した視差またはフロー予測を保証する。
• 局所的なパッチ特徴量と文脈的情報を統合した学習済みコスト関数を用い、従来の距離尺度に代わる。
• あらゆる種類の正則化を用いないが、学習された関数の判別的性質のおかげで滑らかな結果が得られる。
• この手法は、ステレオマッチング（KITTI）、オプティカルフロー（Sintel）、および時間的変化検出のための新しいTimeLapseデータセットに適用される。

実験結果

リサーチクエスチョン

• RQ1 判別的にトレーニングされたマッチング関数は、外観変化が著しい状況下でも、従来の手作業で設計された類似度測定法を上回る性能を示せるか？
• RQ2 一つの学習済みマッチング関数は、ステレオ、オプティカルフロー、時間的変化検出という異なるタスクに、タスク固有の設計なしにどれほど一般化できるか？
• RQ3 学習された分類器は、密度マッチングタスクにおいて明示的な正則化の必要性をどれほど排除できるか？
• RQ4 長期間の時間的データにおいて、分類器は構造的変化と季節的・照明由来の外観変化を信頼性高く区別できるか？
• RQ5 従来の手法が失敗するテクスチャが乏しい領域において、この手法はどの程度効果的か？

主な発見

• 提案された分類器は、新しいTimeLapse変化検出データセットで93.3％の画素単位の正確性を達成し、平均リコールが86.9％、平均プレシジョンが87.9％であった。
• KITTIステレオデータセットでは、あらゆる種類の正則化なしでも、最先端の手法と同等の結果を達成した。
• Sintelオプティカルフロー・データセットでは、標準的な特徴マッチングよりも著しくノイズが少なく、大きな変位を的確に捉えた。
• 壁や地面の平面などテクスチャが乏しい領域においても、従来の手法が正則化に依存するため失敗するのとは対照的に、本手法は頑健であった。
• 定性的な結果から、新築の建物や車両といった構造的変化を正しく同定している一方で、雪や葉の落ち葉といった季節的変化は無視していることが確認された。
• 粗いから細かいオプティカルフローパイプラインの前処理として、本手法は強力な潜在的価値を示しており、信頼性の高い初期フロー推定を提供した。