[論文レビュー] Convolutional Patch Representations for Image Retrieval: an Unsupervised Approach

Mattis Paulin, Julien Mairal+4 more|arXiv (Cornell University)|Mar 1, 2016

Advanced Image and Video Retrieval Techniques参考文献 2被引用数 5

ひとこと要約

本稿では、畳み込みカーネルネットワーク（CKNs）に基づく非教師あり畳み込み記述子、Patch-CKNを提案する。画像およびパッチ検索において、ラベルなしで局所的パッチ表現を学習することで、SIFT や教師あり畳み込みニューラルネットワーク（CNNs）を上回り、標準ベンチマーク（Holidays、Oxford、UKB）で最先端の性能を達成するとともに、学習が著しく高速である。

ABSTRACT

Convolutional neural networks (CNNs) have recently received a lot of attention due to their ability to model local stationary structures in natural images in a multi-scale fashion, when learning all model parameters with supervision. While excellent performance was achieved for image classification when large amounts of labeled visual data are available, their success for un-supervised tasks such as image retrieval has been moderate so far. Our paper focuses on this latter setting and explores several methods for learning patch descriptors without supervision with application to matching and instance-level retrieval. To that effect, we propose a new family of convolutional descriptors for patch representation , based on the recently introduced convolutional kernel networks. We show that our descriptor, named Patch-CKN, performs better than SIFT as well as other convolutional networks learned by artificially introducing supervision and is significantly faster to train. To demonstrate its effectiveness, we perform an extensive evaluation on standard benchmarks for patch and image retrieval where we obtain state-of-the-art results. We also introduce a new dataset called RomePatches, which allows to simultaneously study descriptor performance for patch and image retrieval.

研究の動機と目的

• インスタンスレベルの画像検索に一般化しやすい、強力で非教師ありの局所的記述子を構築すること。
• 畳み込みネットワークの非教師あり学習が、検索タスクにおいて教師ありまたは転移学習アプローチと同等またはそれを上回る性能を達成できるかどうかを評価すること。
• パッチ検索と画像検索の両方の性能を一貫した条件下で共同評価できるよう、新しいベンチマークデータセットである RomePatches を設計すること。
• 非教師あり CKN が、教師あり CNN と同等の最先端の結果を達成できることを示し、学習が著しく高速であることを実証すること。
• 主成分分析（PCA）やホワイトニングなどの後処理技術が、記述子の品質および検索性能に与える影響を調査すること。

提案手法

• 畳み込みカーネルネットワーク（CKNs）を基に、画像パッチのみを用いて非教師ありに学習する新しい畳み込み記述子の家族、Patch-CKN を提案する。
• カーネル近似と構造化されたレイヤー設計を活用することで、CKN を高速な学習アルゴリズムに再定式化し、バックプロパゲーションを必要としない効率的な学習を可能にする。
• Hessian-Affine または密度キーイベント検出を用いて局所的な画像領域を抽出し、それらを Patch-CKN 記述子で符号化する。
• VLAD プーリングを用いて局所的記述子を集約し、検索用のコンactなグローバル画像表現を生成する。
• PCA およびホワイトニングを後処理ステップとして適用し、記述子の品質と検索精度をさらに向上させる。
• 3次元再構築された真値マッチングを提供する新規の RomePatches データセットを用いて、パッチレベルおよび画像レベルの検索性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 畳み込みネットワークの非教師あり学習が、画像検索タスクにおいて教師ありまたは転移学習手法と同等の性能を示す局所的記述子を生成できるか？
• RQ2 パッチ検索における記述子の性能が、集約後に画像レベル検索でどの程度一般化されるか？
• RQ3 精度と学習効率の観点から、提案された Patch-CKN 記述子は SIFT や他の CNN ベースの記述子と比べてどの程度優れているか？
• RQ4 PCA やホワイトニングなどの後処理技術が、非教師あり記述子の性能をどの程度向上させるか？
• RQ5 ラベルなしで学習された記述子が、Holidays や Oxford、UKB のような標準ベンチマークで最先端の結果を達成できるか？

主な発見

• Patch-CKN は Holidays データセットで 79.3% の mAP を達成し、Oxford データセット（クエリクローニングあり）では 49.8% の mAP を記録し、SIFT を上回り、グローバル CNN と同等またはそれを上回る性能を示した。
• PCA およびホワイトニングを適用した Patch-CKN は、密度パッチを用いて Holidays で 82.9% の mAP を達成し、MOP-CNN を上回り、新たな最先端性能を樹立した。
• Oxford データセットでは、Hessian-Affine パッチと重力仮定を用いた場合、Patch-CKN は SIFT を用いた先行の最先端手法を上回る 56.5% の mAP を達成した。
• 教師あり Siamese CNN や微調整済み AlexNet と比較して、非教師あり Patch-CKN はすべての3つのベンチマークで優れた性能を示し、高精度を達成するためには教師あり学習が必須でないことを示した。
• カーネルに基づく定式化により、標準 CNN よりも著しく高速に学習が可能であるため、Patch-CKN の学習は標準 CNN よりもはるかに高速である。
• 本研究では、パッチ検索における記述子の性能が画像検索にうまく一般化されることを確認した。これにより、RomePatches を統合的ベンチマークとして使用することが妥当であることが裏付けられた。