[論文レビュー] Self-supervising Fine-grained Region Similarities for Large-scale Image Localization

Yixiao Ge, Haibo Wang+3 more|arXiv (Cornell University)|Jun 6, 2020

Advanced Image and Video Retrieval Techniques参考文献 60被引用数 13

ひとこと要約

本稿では、ノイズの多いGPS監視のもとで大規模画像局所化を向上させるために、自己教師ありフレームワークを提案する。細分化された画像内領域間類似度を強化することで、追加のパラメータやアノテーションを一切用いずに、最先端の性能を達成した。

ABSTRACT

The task of large-scale retrieval-based image localization is to estimate the geographical location of a query image by recognizing its nearest reference images from a city-scale dataset. However, the general public benchmarks only provide noisy GPS labels associated with the training images, which act as weak supervisions for learning image-to-image similarities. Such label noise prevents deep neural networks from learning discriminative features for accurate localization. To tackle this challenge, we propose to self-supervise image-to-region similarities in order to fully explore the potential of difficult positive images alongside their sub-regions. The estimated image-to-region similarities can serve as extra training supervision for improving the network in generations, which could in turn gradually refine the fine-grained similarities to achieve optimal performance. Our proposed self-enhanced image-to-region similarity labels effectively deal with the training bottleneck in the state-of-the-art pipelines without any additional parameters or manual annotations in both training and inference. Our method outperforms state-of-the-arts on the standard localization benchmarks by noticeable margins and shows excellent generalization capability on multiple image retrieval datasets.

研究の動機と目的

• 大規模画像局所化におけるノイズの多い弱いGPSラベルの課題に対処し、深層ネットワークが判別性の高い特徴を学習できない状況を改善すること。
• 従来の手法が訓練に際して最も簡単な（トップ1）陽性画像にのみ依存するという制限を克服し、状況の変化に対して劣化しにくい性能を実現すること。
• 自己教師ありの領域レベルの監視を用いて、難易度の高い陽性画像を活用し、ネットワークの世代を経て画像内領域間類似度を改善することで、特徴の学習を向上させること。
• 前回のネットワーク世代から得られるソフトな信頼スコアを用いて、ノイズの多いデータでも効果的な学習を可能にする。
• 微調整なしに標準的な画像検索ベンチマークで一般化能力を示すこと。

提案手法

• 前回の世代の特徴に基づく類似度をソフトな監視として用い、反復的にネットワークを訓練する。
• 各クエリに対して、ギャラリー集合からのk-相互近傍（k-reciprocal nearest neighbors）を特定し、より正確な難易度の高い陽性サンプルを回復させ、誤検出を低減する。
• ギャラリー画像をサイズの異なる複数の部分領域に分割することで、細分化された領域レベルのマッチングと監視を可能にする。
• 特徴マップを用いてクエリから領域への類似度を推定し、温度を段階的に下げる対照的学習戦略を適用することで、世代を経てソフトラベルを鋭くする。
• 自己強化された類似度ヘッドを用いて、より洗練されたソフトな監視信号を生成し、ネットワークがより判別性の高い局所的特徴を学習できるように導く。
• 対照的損失に温度の冷却スケジュールを適用し、段階的に温度を低下させることで、特徴の判別性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ノイズの多いGPSラベルしか利用できない状況で、自己教師ありの細分化された領域レベルの類似度は、画像局所化性能を向上させ得るか？
• RQ2 誤検出やネットワークの崩壊を引き起こさずに、難易度の高い陽性サンプルを効果的に訓練に活用する方法は何か？
• RQ3 ネットワークの世代を経て画像内領域間類似度を refining することにより、標準的な画像レベルの監視よりも優れた特徴表現が得られるか？
• RQ4 前回の世代からのソフトな監視は、下流の画像検索タスクにおける一般化性能をどの程度向上させるか？
• RQ5 追加のパラメータや手動アノテーションなしに、提案手法がSOTAベースラインを上回る性能を示せるか？

主な発見

• 提案手法は、Tokyo 24/7 および Oxford5k ベンチマークで最先端の性能を達成し、Tokyo 24/7 ではランク1再現率が93.4%に達し、ベースラインを顕著に上回った。
• Pitts250k-testセットでは、ランク1再現率が85.7%に達し、SOTAのSARE手法を2.1ポイント上回った。
• アブレーションスタディの結果、k-相互近傍の精錬を除去すると、Tokyo 24/7 で1.6%の性能低下が生じ、真陽性を特定するうえでその重要性が確認された。
• ソフトマックスの温度冷却により、より良い特徴の判別性が得られ、Oxford5k ではmAPが1.2%向上した。
• モデルは標準的な画像検索データセットにも良好に一般化され、Oxford5k（フル画像）では73.9%のmAP、Paris6k（フル画像）では76.7%のmAPを達成し、SARE や NetVLAD を上回った。
• 定性的な分析から、モデルが店の看板などの判別性の高い局所的領域に注目しているのに対し、SAREとは異なり、木などの誤解を招く特徴には影響を受けないことが確認された。