[論文レビュー] Siamese Network of Deep Fisher-Vector Descriptors for Image Retrieval

Eng-Jon Ong, Syed Sameed Husain+1 more|arXiv (Cornell University)|Feb 1, 2017

Advanced Image and Video Retrieval Techniques参考文献 2被引用数 35

ひとこと要約

本稿では、大規模な画像検索の精度を向上させるために、畳み込みニューラルネットワーク（CNN）のフィルタとフィッシャー・ベクターのパラメータを共同で最適化するシamese深層学習アーキテクチャを提案する。シameseフレームワーク内で深層CNN記述子とフィッシャー・ベクター符号化を統合することで、特に100万件の誤検出者を含む困難な条件下でも、オックスフォードおよびパリのベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

This paper addresses the problem of large scale image retrieval, with the aim of accurately ranking the similarity of a large number of images to a given query image. To achieve this, we propose a novel Siamese network. This network consists of two computational strands, each comprising of a CNN component followed by a Fisher vector component. The CNN component produces dense, deep convolutional descriptors that are then aggregated by the Fisher Vector method. Crucially, we propose to simultaneously learn both the CNN filter weights and Fisher Vector model parameters. This allows us to account for the evolving distribution of deep descriptors over the course of the learning process. We show that the proposed approach gives significant improvements over the state-of-the-art methods on the Oxford and Paris image retrieval datasets. Additionally, we provide a baseline performance measure for both these datasets with the inclusion of 1 million distractors.

研究の動機と目的

• ロバストな画像表現を学習することで、大規模な画像検索の精度を向上させること。
• クエリ画像に対して数千～数百万枚の画像を順序付けする課題に対処すること。
• 変化する深層記述子の分布に適応できるように、CNNフィルタ重みとフィッシャー・ベクターのパラメータを共同で最適化すること。
• 深層畳み込み特徴量とフィッシャー・ベクター符号化を組み合わせることで、特徴量の集約を向上させること。
• 標準ベンチマークにおいて100万件の誤検出者を含む状況下で、画像検索の新しいベースラインを確立すること。

提案手法

• 本手法は、同一の2つのブランチを持つシameseネットワークを採用し、それぞれが1枚の画像入力を処理する。
• 各ブランチはまず、入力画像から密な深層畳み込み記述子を抽出するためのCNNを適用する。
• CNNの出力をフィッシャー・ベクター法を用いて集約し、固定長のベクトル表現を生成する。
• 鍵となる点として、ネットワークはCNNフィルタとフィッシャー・ベクターのパラメータをエンドツーエンドで共同で学習する。
• シameseアーキテクチャにより、類似画像ペアの埋め込み間の距離を最小化することで、類似度メトリクスを学習できる。
• 対照的損失関数を用いてモデルを訓練し、正例ペアでは距離を小さく、負例ペアでは距離を大きくするように促進する。

実験結果

リサーチクエスチョン

• RQ1 CNNフィルタとフィッシャー・ベクターのパラメータを共同で最適化することで、画像検索性能が向上するか？
• RQ2 提案されたシameseネットワークにフィッシャー・ベクター集約を組み合わせた手法は、大規模な画像検索ベンチマークにおいて最先端の手法と比較してどうなるか？
• RQ3 100万件の誤検出者を含めた場合の検索性能への影響は何か？ また、この課題に提案手法はどのように対処するか？
• RQ4 CNNとフィッシャー・ベクターのコンponentsを別々に学習するのではなく、共同で学習することで、深層記述子の分布にさらに適応できるか？
• RQ5 提案手法は、オックスフォードおよびパリのような標準的な画像検索ベンチマークデータセットに十分に一般化できるか？

主な発見

• 提案手法は、オックスフォードおよびパリの画像検索ベンチマークで最先端の性能を達成した。
• 特に100万件の誤検出者をデータセットに含めたテストでは、既存の手法を顕著に上回った。
• CNNとフィッシャー・ベクターのパラメータを共同で学習することで、よりロバストで識別力の高い画像表現が得られた。
• フィッシャー・ベクター集約を組み合わせたシameseアーキテクチャは、単独のCNNやフィッシャー・ベクター手法と比較して、順序付け精度を向上させた。
• 本手法は、大規模かつ現実世界の条件下で、オックスフォードおよびパリの両データセットにおける画像検索の新しいベースラインを確立した。
• 100万件の誤検出者を評価に含めたことで、モデルのロバスト性とスケーラビリティが明確に示された。