[論文レビュー] Kernelized Deep Convolutional Neural Network for Describing Complex Images

Zhen Liu|arXiv (Cornell University)|Sep 15, 2015

Advanced Image and Video Retrieval Techniques参考文献 34被引用数 4

ひとこと要約

本論文は、パッチレベルのCNN特徴とファisherベクトルアグリゲーションを活用することで、複雑な画像における画像表現のロバスト性を向上させるカーネル化された深層畳み込みニューラルネットワーク（KCNN）を提案する。この手法は、オックスフォード・ビルドイングス、ホリデイズ、UKBenchといったベンチマークデータセット上で、幾何変換に対して顕著な画像検索精度の向上を達成した。

ABSTRACT

With the impressive capability to capture visual content, deep convolutional neural networks (CNN) have demon- strated promising performance in various vision-based ap- plications, such as classification, recognition, and objec- t detection. However, due to the intrinsic structure design of CNN, for images with complex content, it achieves lim- ited capability on invariance to translation, rotation, and re-sizing changes, which is strongly emphasized in the s- cenario of content-based image retrieval. In this paper, to address this problem, we proposed a new kernelized deep convolutional neural network. We first discuss our motiva- tion by an experimental study to demonstrate the sensitivi- ty of the global CNN feature to the basic geometric trans- formations. Then, we propose to represent visual content with approximate invariance to the above geometric trans- formations from a kernelized perspective. We extract CNN features on the detected object-like patches and aggregate these patch-level CNN features to form a vectorial repre- sentation with the Fisher vector model. The effectiveness of our proposed algorithm is demonstrated on image search application with three benchmark datasets.

研究の動機と目的

• 複雑な画像における幾何変換（並進、回転、スケーリング）に対処するためのグローバルCNN特徴の限界を解決すること。
• コンテンツベース画像検索における標準CNNのオブジェクトの位置やスケール変化への感受性を克服すること。
• 一般的な幾何変換に対して不変性を保ちつつ、固定長のベクトリアル表現を構築すること。
• グローバル特徴が失敗するような、複数オブジェクトを含む複雑なシーンにおける画像検索タスクのパフォーマンスを向上させること。
• 深層特徴とカーネルベースのアグリゲーション（ファisherベクトル）を統合することで、識別力の向上と空間的不変性の維持を図ること。

提案手法

• 選択的サーチや類似手法を用いて、複雑な画像内のオブジェクトに類似したパッチを検出することで、顕著な領域を局所化する。
• 事前学習済みの畳み込みニューラルネットワーク（例：Caffeベースのアーキテクチャ）を用いて、各検出パッチから深層CNN特徴を抽出する。
• パッチレベルのCNN特徴をファisherベクトルモデルを用いてアグリゲートし、固定長の識別的ベクトル表現を生成する。
• ファisherベクトルの量子化および残差情報の符号化能力を活用することで、幾何的変化に対してよりロバストな表現を実現する。
• 得られたKCNN表現を、検索タスク用のグローバル画像記述子として利用する。
• mAPおよびtop-k精度指標を用いて、標準ベンチマーク（オックスフォード・ビルドイングス、ホリデイズ、UKBench）上でモデルを学習および評価する。

実験結果

リサーチクエスチョン

• RQ1 グローバルCNN特徴は、複雑な画像における並進、回転、スケーリングといった幾何変換に対してどのように反応するか？
• RQ2 パッチベースのCNN特徴にファisherベクトルアグリゲーションを適用することで、グローバルCNN特徴よりも幾何変換に対してより高い不変性を達成できるか？
• RQ3 提案されたKCNN手法は、複雑で複数オブジェクトを含むシーンにおける画像検索において、標準CNNおよびBoVW/Fisherカーネルベースラインを上回る性能を示せるか？
• RQ4 KCNNは、SIFTベースの手法と比較して、細粒度画像検索タスクでどの程度の性能を示すか？
• RQ5 KCNN表現は、コンテンツ複雑度が異なる多様な画像データセットにどの程度一般化可能か？

主な発見

• 提案されたKCNN手法は、ホリデイズデータセットで0.829のmAPを達成し、先行するCNNベースの手法（例：[14]の0.802 mAP）およびSOTAベースラインを上回った。
• オックスフォード・ビルドイングスデータセットでは、KCNNは0.51 mAPを達成し、グローバルCNNベースライン（0.38 mAP）を顕著に上回った。クエリごとの改善率は33％から355％にのぼった。
• UKBenchでは、トップ4精度が3.74に達し、CNNベースライン（3.41）および[3]（3.50）や[22]（3.53）といった競合手法を上回った。
• 特定のクエリでは、精度が200％以上向上（例：All Soulsでは+215％）し、幾何的変化に対して強いロバスト性を示した。
• 複雑なシーン（例：Bodleianでは+333％、Hertfordでは+242％）において顕著な向上を達成し、複数オブジェクトが混在するごみだらけの画像において有効であることが確認された。
• ホリデイズおよびUKBenchでは強力な性能を示したが、オックスフォード・ビルドイングスではSIFTベースの手法がKCNNを上回った。これは、局所的なテクスチャーや構造がより重要な細粒度の建物認識タスクにおいて、依然として課題が残っていることを示唆している。