[論文レビュー] Multi-Image Semantic Matching by Mining Consistent Features

Qianqian Wang, Xiaowei Zhou+1 more|arXiv (Cornell University)|Nov 21, 2017

Advanced Image and Video Retrieval Techniques参考文献 45被引用数 5

ひとこと要約

本論文は、数千枚の画像にわたる信頼性が高く、循環的かつ幾何学的に一貫した特徴を特定するための特徴選択とラベル付けとして問題を定式化するスケーラブルなマルチイメージ意味的マッチング手法を提案する。幾何学的一致性に低ランク制約を活用し、繰り返しのない特徴をプルーニングすることで、ベンチマークで最先端の性能を達成し、アノテーションなしで自己教師付き3次元オブジェクトクラス再構築とランドマーク発見を可能にする。

ABSTRACT

This work proposes a multi-image matching method to estimate semantic correspondences across multiple images. In contrast to the previous methods that optimize all pairwise correspondences, the proposed method identifies and matches only a sparse set of reliable features in the image collection. In this way, the proposed method is able to prune nonrepeatable features and also highly scalable to handle thousands of images. We additionally propose a low-rank constraint to ensure the geometric consistency of feature correspondences over the whole image collection. Besides the competitive performance on multi-graph matching and semantic flow benchmarks, we also demonstrate the applicability of the proposed method for reconstructing object-class models and discovering object-class landmarks from images without using any annotation.

研究の動機と目的

• 特徴の再現性が低い状況においても、複数の画像間で一貫した意味的対応を特定する課題に対処すること。
• すべてのペアワイズ対応を最適化するのではなく、特徴選択によって変数の数を削減することで、大規模な画像コレクションにおけるスケーラビリティを向上させること。
• 従来の手法がしばしば無視するように、マルチイメージマッチングにおいて循環的一致性と幾何学的一致性を同時に強制すること。
• 手動の教師なしで、自己教師付き3次元オブジェクトクラスモデルの再構築と自動ランドマークアノテーションを可能にすること。

提案手法

• 本手法は、マルチイメージ意味的マッチングを特徴選択とラベル付けの問題として扱い、初期のノイズの多いペアワイズ対応から、信頼性の高い特徴のスパース集合のみを選択する。
• 因子分解に基づく構造からモーションのインスパイアを受けて、対応行列に低ランク制約を導入し、すべての画像間での幾何学的一致性を強制する。
• 交替方向乗数法（ADMM）を用いて、特徴選択と対応行列の両方の更新を通じて、反復的に循環的一致性と幾何学的一致性を同時に強制する最適化を行う。
• エッジ検出から得られるスパースな特徴候補集合を用い、背景のゴミのような繰り返しのない特徴をプルーニングする選択プロセスを適用する。
• 低ランク制約は行列因子分解を用いて効率的に解くことができ、従来の手法と比較して計算複雑度を低減する。
• 特徴選択とラベル付けの後、補間を用いて密な対応を実現し、アフィン因子分解を用いた3次元再構築をサポートする。

実験結果

リサーチクエスチョン

• RQ1 数千枚の画像にわたって、信頼性が高く再現性のある特徴のスパース集合を特定できるスケーラブルなマルチイメージマッチング手法を設計できるか？
• RQ2 循環的一致性を越えて、複数の画像間で幾何学的一致性を効果的に強制する方法は何か？
• RQ3 提案手法は、標準ベンチマークで競争力のある性能を達成するとともに、大規模データセットにおいて計算的にも効率的であるか？
• RQ4 本手法は、手動アノテーションなしで、どの程度まで自己教師付き3次元オブジェクトクラスモデル再構築を可能にするか？
• RQ5 自動的に選択された特徴は、人間がアノテートしたキーポイントと一致する特徴量としての判別力を持つだろうか？

主な発見

• 提案手法は、ベースラインのペアワイズマッチングに比べて、特にゴミだらけの背景において顕著な精度向上を達成し、選択する特徴が少ない場合に高い精度を示す。
• FG3DCarデータセットでは、相対回転を推定し、平均地図距離誤差が18.5°に達する。これは、異なるオブジェクトインスタンス間の自己教師付き相対ポーズ推定において、以前に報告されたことがない結果である。
• セダンおよびマウンテンバイクの画像から選択された特徴を用いた3次元再構築は、外観や視点の大きな変化にもかかわらず、明確にオブジェクトの構造を回復している。
• ネコの頭部データセットでは、自動的に選択された特徴が、目、耳、口といった人間がアノテートしたランドマークとよく一致しており、自動ランドマークアノテーションへの強力な可能性を示している。
• 1000枚の画像からなるネコの頭部データセットでは、約650秒で実行され、従来のマルチイメージマッチングアルゴリズム（例：MatchALS）では達成できなかったスケーラビリティを実現している。
• 行列更新の計算複雑度は、mを全特徴数、kを1枚あたりに選択する特徴数としたとき、O(mk²)に低減され、O(m²k)の手法と比較してはるかにスケーラブルである。