[論文レビュー] Projection Bank: From High-dimensional Data to Medium-length Binary Codes

Li Liu, Mengyang Yu+1 more|arXiv (Cornell University)|Sep 16, 2015

Advanced Image and Video Retrieval Techniques参考文献 31被引用数 4

ひとこと要約

本論文は、高次元特徴（例：フィッシャー・ベクトル）を中程度長さのバイナリコード（1000〜10000ビット）に効率的に圧縮する新しい手法、バイナリプロジェクションバンク（BPB）を提案する。この手法は、データ類似度を保持しながら、メモリ使用量と符号化複雑性を大幅に削減することで、大規模な応用に実用的である。単一または二重線形投影とは異なり、BPBは、顕著な検索および認識精度を達成しており、最先端の性能を発揮する。

ABSTRACT

Recently, very high-dimensional feature representations, e.g., Fisher Vector, have achieved excellent performance for visual recognition and retrieval. However, these lengthy representations always cause extremely heavy computational and storage costs and even become unfeasible in some large-scale applications. A few existing techniques can transfer very high-dimensional data into binary codes, but they still require the reduced code length to be relatively long to maintain acceptable accuracies. To target a better balance between computational efficiency and accuracies, in this paper, we propose a novel embedding method called Binary Projection Bank (BPB), which can effectively reduce the very high-dimensional representations to medium-dimensional binary codes without sacrificing accuracies. Instead of using conventional single linear or bilinear projections, the proposed method learns a bank of small projections via the max-margin constraint to optimally preserve the intrinsic data similarity. We have systematically evaluated the proposed method on three datasets: Flickr 1M, ILSVR2010 and UCF101, showing competitive retrieval and recognition accuracies compared with state-of-the-art approaches, but with a significantly smaller memory footprint and lower coding complexity.

研究の動機と目的

• 大規模な視覚的応用において、フィッシャー・ベクトルのような非常に高次元の表現の計算コストとストレージコストを低減すること。
• 精度を損なわずに、高次元データを中程度長さのバイナリコード（1000〜10000ビット）に効率的に埋め込むこと。
• 従来の線形または二重線形投影手法と比較して、メモリ容量と符号化複雑性を低減すること。
• 小さなプロジェクションのマックスマージン制約付きバンクを通じて、データの内在的類似度を保持すること。
• 最小限のリソースオーバーヘッドで、検索および認識タスクの両方で競争力のある性能を達成すること。

提案手法

• 本手法は、バイナリコード空間におけるデータ類似度を最適に保持するために、マックスマージン制約を用いてプロジェクション行列のバンクを学習する。
• 単一の大規模な投影行列を使用するのではなく、BPBはコンパクトで学習可能なプロージェクションの集合を採用することで、ストレージと計算量を削減する。
• 類似したデータポイント間の意味的類似度を維持するため、マージンに基づく最適化目的関数を用いてプロジェクションバンクを訓練する。
• 非線形関係を投影空間でモデル化するために、RBFカーネルを用いた拡張版であるKBPBというカーネル化されたバージョンが提案される。
• 符号化フェーズでは、学習済みのプロジェクションバンクを新しいサンプルに適用し、低コストなバイナリコードを生成する。
• 線形および非線形の両方の投影を用いて評価され、パラメータは交差検証を用いて最適化される。

実験結果

リサーチクエスチョン

• RQ1 小さなマックスマージン付きプロジェクションのバンクは、高次元特徴を中程度長さのバイナリコードに効果的に圧縮し、意味的類似度を保持できるか？
• RQ2 BPBは、ITQ や BPBC といった最先端の手法と比較して、精度、メモリ使用量、符号化複雑性の観点でどのように異なるか？
• RQ3 さまざまなデータセットで安定した性能を発揮するための最適な基準サンプル数と正則化パラメータは何か？
• RQ4 BPBは、圧縮されたコードを用いて、教師なし検索および教師あり認識タスクの両方で高い精度を維持できるか？
• RQ5 カーネル化されたバージョンであるKBPBは、複雑な高次元データにおいて性能をさらに向上させられるか？

主な発見

• BPBは、Flickr 1M、ILSVRC2010、UCF101の各データセットで、中程度長さのコード（1000〜10000ビット）において、ITQ や BPBC を上回る競争力のある検索精度を達成した。
• UCF101データセットでは、KBPB 2は17040ビットのコードを用いて82.18％のアクション認識精度を達成し、元のFV（80.33％）および他の圧縮手法を上回った。
• BPBは、ITQと比較して符号化複雑性を90％以上削減した。10000ビットコードの場合、BPBは1.7×10^9回の乗算で済み、ITQは1.7×10^9回の乗算を必要とした。
• プロージェクションのメモリ使用量は著しく削減された。RR+PQ や ITQ と比較して、BPBは10000ビットを超えると非現実的になるほど、はるかに少ないストレージ容量で済んだ。
• カーネル化されたKBPBバージョンは、すべてのコード長さで最高の性能を発揮し、少なくとも1000個の基準サンプルを使用することで安定した結果を得た。
• パラメータ感度分析の結果、Flickr 1Mではλ ∈ (10⁻¹, 1)、ILSVRC2010ではλ ∈ (1, 10) の範囲で最適な性能が得られた。