[論文レビュー] Part-based Weighting Aggregation of Deep Convolutional Features for Image

Jian Xu, Cunzhao Shi+3 more|arXiv (Cornell University)|May 3, 2017

Advanced Image and Video Retrieval Techniques被引用数 2

ひとこと要約

本稿では、深層畳み込み層からの判別的フィルタをパーツ検出器として用いる、パーツベースの重み付きアグリゲーション（PWA）手法を提案する。教師なしでキーパーツ検出器を選択し、確率的プロポーザルを生成することで、局所的特徴の重み付きアグリゲーションによりグローバル特徴表現を向上させ、教師なしの条件下で4つの標準データセットにおいて最先端の性能を達成する。

ABSTRACT

In this paper, we propose a simple but effective semantic part-based weighting aggregation (PWA) for image retrieval. The proposed PWA utilizes the discriminative filters of deep convolutional layers as part detectors. Moreover, we propose the effective unsupervised strategy to select some part detectors to generate the probabilistic proposals, which highlight certain discriminative parts of objects and suppress the noise of background. The final global PWA representation could then be acquired by aggregating the regional representations weighted by the selected probabilistic proposals corresponding to various semantic content. We conduct comprehensive experiments on four standard datasets and show that our unsupervised PWA outperforms the state-of-the-art unsupervised and supervised aggregation methods. Code is available at this https URL.

研究の動機と目的

• 深層畳み込み特徴における意味的パーツを活用することで、画像検索性能を向上させること。
• 対象パーツを強調し、背景ノイズを抑える判別的パーツ検出器の教師なし戦略を開発すること。
• 意味的パーツの確率的プロポーザルに基づいて局所的特徴を重み付けしてアグリゲートするグローバル特徴アグリゲーション手法を設計すること。
• 教師ありアノテーションを必要とせず、標準的な画像検索ベンチマークで最先端の結果を達成すること。

提案手法

• 深層畳み込み層からの判別的フィルタをパーツ検出器として用い、画像内の意味的パーツを局所化する。
• 教師なし戦略を適用して、顕著な対象領域の確率的プロポーザルを生成するパーツ検出器のサブセットを選択する。
• 選択された確率的プロポーザルに基づいて重み付けされた局所的特徴をアグリゲートすることで、グローバル画像表現を生成する。
• アグリゲーション中に判別的パーツを強調し、ノイズや背景領域を抑える重み付けメカニズムを採用する。
• より良い表現を得るために、複数の畳み込み層からの特徴マップを用いて階層的な意味的パーツを捉える。

実験結果

リサーチクエスチョン

• RQ1 教師なしのパーツ検出器の選択は、検索のためのグローバル画像表現を向上させることができるか？
• RQ2 パーツベースの重み付きアグリゲーションは、既存の教師ありおよび教師なしアグリゲーション手法と比べてどのように差がつくか？
• RQ3 提案されたPWA手法は、多様なデータセットにわたってどの程度検索性能を向上させるか？
• RQ4 教師なし条件下で、深層ネットワークからの判別的フィルタが効果的にパーツ検出器として機能するか？

主な発見

• 提案された教師なしPWA手法は、4つの標準画像検索データセットにおいて最先端の性能を達成した。
• 検索精度の観点から、教師ありおよび教師なしのアグリゲーション手法をすべて上回った。
• 選択されたパーツ検出器からの確率的プロポーザルの使用により、判別的対象パーツが効果的に強調され、背景ノイズが抑制された。
• アノテーション付きパーツレベルの教師情報が不要であるにもかかわらず、多様な画像データセットに強く一般化する能力を示した。