[論文レビュー] Matching neural paths: transfer from recognition to correspondence search

Nikolay Savinov, Ľubor Ladický+1 more|arXiv (Cornell University)|May 19, 2017

Advanced Image and Video Retrieval Techniques被引用数 6

ひとこと要約

本論文は、事前に訓練された畳み込みニューラルネットワークの複数層にわたる階層的特徴マッチングを用いた、低レベルの対応探索のための新規手法を提案する。認識タスクからの転移学習を活用し、多項式時間のアルゴリズムによってニューラルパスを統合することで、ターゲットドメインのラベル付きデータを必要とせずに、競争力のあるステレオ対応性能を達成する。

ABSTRACT

Many machine learning tasks require finding per-part correspondences between objects. In this work we focus on low-level correspondences --- a highly ambiguous problem. We propose to use a hierarchical semantic representation of the objects, coming from a convolutional neural network, to solve this ambiguity. Training it for low-level correspondence prediction directly might not be an option in some domains where the ground-truth correspondences are hard to obtain. We show how transfer from recognition can be used to avoid such training. Our idea is to mark parts as matching if their features are close to each other at all the levels of convolutional feature hierarchy (neural paths). Although the overall number of such paths is exponential in the number of layers, we propose a polynomial algorithm for aggregating all of them in a single backward pass. The empirical validation is done on the task of stereo correspondence and demonstrates that we achieve competitive results among the methods which do not use labeled target domain data.

研究の動機と目的

• 低レベルの対応マッチングの課題に対処すること。これは、曖昧さが強く、しばしば信頼できるアノテーションが存在しない。
• パーツごとの対応をラベル付けすることが実用的または不可能なドメインにおける対応学習を可能にすること。
• 事前学習済みの認識モデルからの階層的意味的表現を活用して、対応予測をガイドすること。
• 特徴階層の各レベルを横断するすべての可能なニューラルパスを効率的に集約するアルゴリズムを開発すること。
• ターゲットドメインのラベル付き学習データを必要とせずに、ステレオ対応で競争力のある性能を達成すること。

提案手法

• 本手法は、畳み込み特徴階層の全レベルで特徴類似度を測定することで、マッチングされるパーツを特定し、'ニューラルパス'を形成する。
• 2つのパーツが階層のすべてのレイヤーで特徴が近い場合に、それらを対応すると定義するマッチング基準を設定する。
• 指数的サイズのニューラルパスの組み合わせを、多項式時間のバックワードパスアルゴリズムで効率的に統合し、1つの微分可能なスコアにまとめる。
• 特徴抽出に事前学習済みのCNNを用い、認識タスクからの意味的知識を対応タスクに転送する。
• 最終的な対応スコアは、すべての有効なニューラルパス構成の和として計算され、エンドツーエンド最適化が可能になる。
• 本手法は弱教師付きで動作し、パーツごとの対応アノテーションではなく、認識の監視のみに依存する。

実験結果

リサーチクエスチョン

• RQ1 複数のCNNレイヤーにわたる階層的特徴マッチングは、直接的な監視がなくても、低レベルの対応予測を向上させることができるか？
• RQ2 事前学習済み認識モデルからの知識を、対応探索タスクに効果的に転送する方法は何か？
• RQ3 特徴階層全体にわたるすべての可能なニューラルパスを多項式時間で集約することは可能か？
• RQ4 本手法は、ターゲットドメインのラベル付きデータを必要とせずに、ステレオ対応で競争力のある性能を達成できるか？
• RQ5 多層特徴の一貫性が、対応精度に与える影響は何か？

主な発見

• 本手法は、ターゲットドメインのラベル付きデータを用いた最先端の手法と比較して、競争力のあるステレオ対応性能を達成する。
• 全階層にわたる多層特徴の一貫性を活用することで、単一レイヤー比較に比べてマッチング精度が顕著に向上する。
• 提案された多項式時間の集約アルゴリズムにより、指数的サイズのニューラルパスに対して効率的な計算が可能になる。
• 認識タスクからの転移により、ターゲットドメインにパーツごとの対応アノテーションが存在しない状況でも、強力な性能が得られる。
• 階層的意味的表現を活用することで、低レベル対応のノイズや曖昧さに対して、本手法は頑健であることが示された。
• 実験的結果により、一貫性のあるニューラルパスを介したマッチングが、ベースライン手法よりも信頼性の高い対応をもたらすことが確認された。