[論文レビュー] Unsupervised Part-based Weighting Aggregation of Deep Convolutional Features for Image Retrieval

Jian Xu, Cunzhao Shi+3 more|arXiv (Cornell University)|May 3, 2017

Advanced Image and Video Retrieval Techniques被引用数 26

ひとこと要約

この論文は、事前学習された畳み込みニューラルネットワーク（CNN）からの判別性の高いフィルタを部位検出器として用い、'確率的プロポーザル'（空間的に局所化され、意味論的に注意を向けた領域で、物体の部位を強調する）を生成することで、教師なしの部分ベース重み付き集約（PWA）手法を提案する。これらのプロポーザルを用いて畳み込み特徴量を重み付け・集約することで、教師あり学習データを必要とせず、4つの標準ベンチマークで最先端の性能を達成する。

ABSTRACT

In this paper, we propose a simple but effective semantic part-based weighting aggregation (PWA) for image retrieval. The proposed PWA utilizes the discriminative filters of deep convolutional layers as part detectors. Moreover, we propose the effective unsupervised strategy to select some part detectors to generate the "probabilistic proposals", which highlight certain discriminative parts of objects and suppress the noise of background. The final global PWA representation could then be acquired by aggregating the regional representations weighted by the selected "probabilistic proposals" corresponding to various semantic content. We conduct comprehensive experiments on four standard datasets and show that our unsupervised PWA outperforms the state-of-the-art unsupervised and supervised aggregation methods. Code is available at https://github.com/XJhaoren/PWA.

研究の動機と目的

• 画像検索におけるグローバル特徴集約の限界、すなわち判別性の高い物体部位を捉えることの困難さを解決する。
• 教師あり微調整を回避するため、事前学習されたCNNから意味のある部位検出器を特定する教師なし戦略を開発する。
• 学習された確率的プロポーザルを通じて、背景ノイズを抑制し、意味論的に関連する物体部位を強調することで、特徴表現を向上させる。
• アノテーション付き学習データの収集が現実的でない低リソース環境でも、効果的な画像検索を可能にする。
• 教師なしで部位検出器を選択することで、教師ありおよび教師なしの最先端手法を上回ることを実証する。

提案手法

• プール5層からの事前学習済みVGG16特徴量を用い、チャンネルごとの特徴マップを候補となる部位検出器として抽出する。
• 特定の意味的コンテンツ（例：尖塔、アーチ、建物の基部）を空間的レイアウトとともに強調する正規化された特徴マップチャンネルとして、'確率的プロポーザル'を定義する。
• 事前学習されたCNNから、複数の画像にわたり一貫して意味のある物体部位に反応する判別性の高いフィルタを選択する教師なし戦略を適用する。
• 選択された確率的プロポーザルを用いて、局所的な畳み込み特徴量に重みを付けることで、判別性の高い部位を強調し、背景を抑制する。
• 重み付けされた局所的表現を統合し、グローバルなPWA埋め込み表現を生成する。
• 教師あり手法との公平な比較を保つために、教師なしのIMEレイヤー変換を用いる。これにより、アプローチの教師なし性質を維持する。

実験結果

リサーチクエスチョン

• RQ1 事前学習されたCNNから教師なしで判別性の高いフィルタを選択することで、画像検索用の部位検出器を効果的に生成できるか？
• RQ2 確率的プロポーザルを用いた部分ベース重み付き集約は、グローバルプーリングや従来の集約法と比較して、検索性能を向上させるか？
• RQ3 教師あり学習に依存する最新の手法よりも、教師なし手法が優れた性能を発揮できるか？
• RQ4 本手法は、背景ノイズを効果的に抑制しながら、判別性の高い物体部位特徴を保持できるか？
• RQ5 タスク固有の再トレーニングやアノテーションを必要とせず、多様なデータセットに一般化できるか？

主な発見

• 提案されたPWA手法は、Oxford5kで87.8%のmAPを達成し、以前の教師なしSOTA手法を8.3%以上上回った。
• Paris6kでは94.9%のmAPを達成し、以前のSOTAを上回り、R-MAC（追加の検証段階を備える）と同等またはそれを上回る性能を示した。
• 512次元の表現でさえ、最良の教師なし手法と同等の性能を発揮し、Paris6kではR-MACに対しわずかに劣るにとどまった。
• より高次元の特徴量（1024, 2048, 4096）を用いたPWAは、4つのすべてのデータセットで、すべてのベースライン手法を一貫して上回った。
• PWA+QE（クエリ拡張）は、R-MAC+AML+QEを上回り、高価な検証段階を用いないにもかかわらず、優れた有効性を示した。
• 教師なしPWA手法は、すべてのデータセットで、教師ありSOTA手法を上回った。微調整やアノテーションデータなしで、強力なロバスト性と一般化能力を示した。