[論文レビュー] Tiny Descriptors for Image Retrieval with Unsupervised Triplet Hashing

Jie Lin, Olivier Morère+3 more|arXiv (Cornell University)|Nov 10, 2015

Advanced Image and Video Retrieval Techniques参考文献 25被引用数 6

ひとこと要約

本稿では、最初にスタックド制限ボルツマンマシン（SRBM）を用いて高次元の深層ニューラルネットワーク記述子を圧縮し、次に三重項ネットワークを用いてバイナリコードを微調整することでメトリック構造を保持する二段階手法である教師なし三重項ハッシング（UTH）を提案する。UTHは、UKbench や Holidays のようなベンチマークで、32ビット符号化における再検索の再現率（recall@100）において、既存手法を最大+5%上回り、教師なし画像検索分野で最先端の性能を達成している。

ABSTRACT

A typical image retrieval pipeline starts with the comparison of global descriptors from a large database to find a short list of candidate matches. A good image descriptor is key to the retrieval pipeline and should reconcile two contradictory requirements: providing recall rates as high as possible and being as compact as possible for fast matching. Following the recent successes of Deep Convolutional Neural Networks (DCNN) for large scale image classification, descriptors extracted from DCNNs are increasingly used in place of the traditional hand crafted descriptors such as Fisher Vectors (FV) with better retrieval performances. Nevertheless, the dimensionality of a typical DCNN descriptor --extracted either from the visual feature pyramid or the fully-connected layers-- remains quite high at several thousands of scalar values. In this paper, we propose Unsupervised Triplet Hashing (UTH), a fully unsupervised method to compute extremely compact binary hashes --in the 32-256 bits range-- from high-dimensional global descriptors. UTH consists of two successive deep learning steps. First, Stacked Restricted Boltzmann Machines (SRBM), a type of unsupervised deep neural nets, are used to learn binary embedding functions able to bring the descriptor size down to the desired bitrate. SRBMs are typically able to ensure a very high compression rate at the expense of loosing some desirable metric properties of the original DCNN descriptor space. Then, triplet networks, a rank learning scheme based on weight sharing nets is used to fine-tune the binary embedding functions to retain as much as possible of the useful metric properties of the original space. A thorough empirical evaluation conducted on multiple publicly available dataset using DCNN descriptors shows that our method is able to significantly outperform state-of-the-art unsupervised schemes in the target bit range.

研究の動機と目的

• 高次元の深層画像記述子を、効率的な大規模画像検索のための極めてコンパクトなバイナリコードに圧縮する課題に対処すること。
• 極度のビットレート低減にもかかわらず、元の深層記述子のメトリック特性を保持することにより、高い再検索再現率を実現すること。
• 高価な監視情報や補助情報に依存せず、競争力のある性能を維持しながら、完全に教師なしの手法を開発すること。
• 表現学習とメトリックを保つ微調整を組み合わせることで、既存の教師なしハッシング手法を改善すること。

提案手法

• まず、4096次元のDCNN記述子を32〜256ビットに圧縮する低次元バイナリ埋め込み関数を学習するために、スタックド制限ボルツマンマシン（SRBM）を教師なしで訓練する。
• 次に、共有重みを持つ三重項ネットワークを用いて、学習済みのバイナリ埋め込みを微調整し、元の記述子空間からの相対的類似度関係を保持するようにバイナリコードを最適化する。
• 三重項ネットワークは、アンカー、ポジティブ、ネガティブな画像三つ組みを使用して、類似度スコアの相対順序を維持するランク損失を学習する。
• データセットの固有の類似度構造から得られる画像三つ組みを除き、完全に教師なしの手法であり、ラベルやアノテーションの必要がない。
• 最終的なバイナリコードは、訓練中に微分可能なソフトからハードへのバイナリ化プロセスを経て計算され、推論時にはハードスレッショルド処理が適用される。
• 評価では、バイナリコードにはハミング距離、非圧縮記述子にはL2距離が使用され、標準指標として再現率@R、mAP、および100万個の誤検出者を含む大規模検索が用いられる。

実験結果

リサーチクエスチョン

• RQ1 二段階の教師なし手法は、高次元の深層画像記述子を32〜256ビットのバイナリコードに効果的に圧縮しつつ、検索性能を保持できるか？
• RQ2 三重項ネットワークによるバイナリコードの微調整は、教師なし事前学習のみに比べて、検索精度を顕著に向上させるか？
• RQ3 ITQ、PCAHash、LSH といった最先端の教師なしハッシング手法と比較して、UTHは複数のデータセットで再現率とmAPにおいてどのように性能を発揮するか？
• RQ4 ビット深度が上昇するにつれて、圧縮済みと非圧縮記述子の性能差はどの程度縮まるか？

主な発見

• UTHは、すべてのデータセットとビットレートで、ITQ、PCAHash、LSH を含むすべてのベースライン教師なしハッシング手法を上回り、UKbench における32ビットでのrecall@100で最大+5%の向上を達成した。
• 微調整ステージは、SRBM単体に比べて性能を顕著に向上させ、特に低ビットレートで顕著であり、メトリック構造の効果的保持が示された。
• Oxford5k では、ITQ や PCAHash といったトップベースラインと比較して、平均で-2% mAPの範囲に収まり、1つのクエリでのみわずかな性能低下が生じた。
• 256ビットでは、Holidays データセットで非圧縮の4096次元記述子と比較して、recall@10 で2%の低下にとどまり、32ビットの26%の低下と比べて顕著に改善された。
• 100万個の誤検出者を含む大規模検索において、Holidays+1M および UKbench+1M で、すべてのビットレートでUTHは優れた性能を維持しており、スケーラビリティが確認された。
• 32ビットでは圧縮済みと非圧縮記述子の性能差は依然として顕著であるが、ビット深度が上昇するにつれて著しく縮まり、極度の圧縮状況での改善余地が示された。