[論文レビュー] Large-scale Image Geo-Localization Using Dominant Sets

Eyasu Zemene, Yonatan Tariku+4 more|arXiv (Cornell University)|Feb 4, 2017

Advanced Image and Video Retrieval Techniques参考文献 4被引用数 4

ひとこと要約

本論文では、特徴の識別能に基づく動的近隣選択と効率的なゲーム理論的ダイナミクスを活用し、特徴マッチングの耐障害性を高めるために、支配的集合クラスタリング（DSC）を用いた高速かつ高精度な大規模画像地理局所化フレームワークを提案する。特徴の識別能に基づき動的に複数の近隣を選択することで、102kおよび300k画像データセットにおいて、最先端手法よりそれぞれ20%および7%の精度向上を達成した。また、従来手法に比べ200倍の高速化を実現した。

ABSTRACT

This paper presents a new approach for the challenging problem of geo-locating an image using image matching in a structured database of city-wide reference images with known GPS coordinates. We cast the geo-localization as a clustering problem on local image features. Akin to existing approaches on the problem, our framework builds on low-level features which allow partial matching between images. For each local feature in the query image, we find its approximate nearest neighbors in the reference set. Next, we cluster the features from reference images using Dominant Set clustering, which affords several advantages over existing approaches. First, it permits variable number of nodes in the cluster which we use to dynamically select the number of nearest neighbors (typically coming from multiple reference images) for each query feature based on its discrimination value. Second, as we also quantify in our experiments, this approach is several orders of magnitude faster than existing approaches. Thus, we obtain multiple clusters (different local maximizers) and obtain a robust final solution to the problem using multiple weak solutions through constrained Dominant Set clustering on global image features, where we enforce the constraint that the query image must be included in the cluster. This second level of clustering also bypasses heuristic approaches to voting and selecting the reference image that matches to the query. We evaluated the proposed framework on an existing dataset of 102k street view images as well as a new dataset of 300k images, and show that it outperforms the state-of-the-art by 20% and 7%, respectively, on the two datasets.

研究の動機と目的

• 視覚的特徴を用いた正確で効率的な大規模画像地理局所化の課題に取り組む。
• 固定された近隣数に依存する従来手法の限界を克服する。
• 既知のGPS座標を持つ都市規模の画像マッチングに適したスケーラブルで高速かつ耐障害性の高いソリューションを開発する。
• 特徴の識別力に基づき、クエリ特徴毎に動的に近隣数を選択することでマッチング精度を向上させる。
• クエリ画像が最終クラスタに含まれることを保証する制約付きDSCフレームワークを導入し、ヒューリスティック投票手法の必要性を排除する。

提案手法

• 参照画像からの局所特徴をグループ化するために、支配的集合クラスタリング（DSC）を用い、変動するクラスタサイズと耐障害性の高い外れ値処理を実現する。
• 線形時間・空間計算量を有する感染・免疫ダイナミクス（InImDyn）を適用し、DSC問題を効率的に解き、最大200倍の高速化を達成する。
• 特徴の識別能に基づき、クエリ特徴毎に複数の近隣を動的に選択する（曖昧な特徴には多くの近隣、明確な特徴には少ない近隣）。
• クエリを含む最終クラスタを保証するためのクエリ制約付きDSC定式化を用い、複数の局所最適解を1つの堅牢な解に統合する。
• グローバル特徴（例：NetVLAD、GIST、HSV）の融合において、正規化された類似度スコアに基づき重みを付けることで、後処理用の識別的入力グラフを構築する。
• 任意のリトリーブパイプラインにDSC後処理ステップを統合可能であり、平均して1クエリあたり0.003秒未満の追加遅延で実行可能である。

実験結果

リサーチクエスチョン

• RQ1 特徴の識別能に基づく適応的近隣選択は、地理局所化の精度向上に寄与するか？
• RQ2 ゲーム理論的ダイナミクスを用いたDSCは、NP困難な定式化（例：GMCP）に比べ、速度と精度で優れるか？
• RQ3 クエリ画像をクラスタに含む制約付きDSCは、ヒューリスティック投票手法の必要性を排除できるか？
• RQ4 複数のグローバル特徴を統合することで、後処理ステップの性能はどの程度向上するか？
• RQ5 本手法は、300k枚の画像などの大規模データセットに対し、高い精度と低遅延を維持しながら効果的にスケーリング可能か？

主な発見

• 提案手法は、102k枚のGoogleストリートビューデータセットにおいて、最先端手法より20%の精度向上を達成した。
• より大きな300k枚の画像を含むWorldCitiesデータセットでは、従来手法に比べ7%の精度向上を達成した。
• 効率的なInImDynダイナミクスと線形緩和のおかげで、GMCPベースのアプローチに比べ平均して200倍の高速化が実現した。
• 既存のリトリーブパイプラインに制約付きDSCを適用した場合、ランク1精度が最大7%向上し、1クエリあたり0.003秒未満の追加遅延で実現した。
• NetVLAD、CNN6、CNN7、GIST、HSVといった複数のグローバル特徴を、識別力に基づき統合することで、個別の特徴を使用する場合よりも優れた性能が得られた。
• 制約付きDSCアプローチにより、クエリの直接的なクラスタ内含むことを強制することで、ヒューリスティック投票を回避し、より堅牢で一貫性のある結果が得られた。