[論文レビュー] Stacked Quantizers for Compositional Vector Compression

Julieta Martínez, Holger H. Hoos+1 more|arXiv (Cornell University)|Nov 8, 2014

Advanced Image and Video Retrieval Techniques参考文献 18被引用数 35

ひとこと要約

本稿では、残留ベースのスターチングにより独立した符号化を可能にすることで、加法的量子化（AQ）と同等の量子化誤差を達成しながら、1000倍以上高速な階層的ベクトル圧縮手法であるスタックド・クオンタイザ（SQ）を提案する。SQはSIFT、GIST、および深層畳み込みニューラルネットワーク特徴量の各ベンチマークにおいて、精度と効率の両面でPQおよびAQを上回る性能を発揮する。

ABSTRACT

Recently, Babenko and Lempitsky introduced Additive Quantization (AQ), a generalization of Product Quantization (PQ) where a non-independent set of codebooks is used to compress vectors into small binary codes. Unfortunately, under this scheme encoding cannot be done independently in each codebook, and optimal encoding is an NP-hard problem. In this paper, we observe that PQ and AQ are both compositional quantizers that lie on the extremes of the codebook dependence-independence assumption, and explore an intermediate approach that exploits a hierarchical structure in the codebooks. This results in a method that achieves quantization error on par with or lower than AQ, while being several orders of magnitude faster. We perform a complexity analysis of PQ, AQ and our method, and evaluate our approach on standard benchmarks of SIFT and GIST descriptors, as well as on new datasets of features obtained from state-of-the-art convolutional neural networks.

研究の動機と目的

• 加法的量子化（AQ）のスケーラビリティの限界、特に非独立なコードブックによる遅い符号化を解消すること。
• PQとAQの間のギャップを埋めるために、表現力は維持しつつ効率的な符号化を可能にする階層的コードブック構造を導入すること。
• AQと同等の量子化誤差を達成するが、PQに近い符号化速度を実現する手法を開発すること。
• SIFT、GISTといった標準ベンチマークおよびConvNetsから得られる現代的な深層学習特徴量に対して、この手法を評価すること。
• SQが大規模なリtrievalシステムにおける高精度圧縮の実用的導入を可能にすることを示すこと。

提案手法

• スタックド・クオンタイザは、ベクトルを部分ベクトルに分解し、残差に基づくスターチングによりコードブックの階層を介して再帰的に残差を符号化することで、各レベルで独立した符号化を可能にする。
• 各部分コードブックは、直前のレベルからの残差を量子化するために訓練され、最終的な表現はすべての部分コードブックインデックスの和で構成される。
• 2段階の最適化を用いる：まず残差に対してk-meansを用いてコードブックを初期学習し、その後、量子化誤差を低減するための反復的リファインメントを実施する。
• 符号化は逐次的に行われる：最初のコードブックが全ベクトルを符号化し、以降のコードブックは直前のレベルからの残差を符号化する。これにより、高速で独立したルックアップが可能になる。
• PQおよびAQと同様の構成的構造を維持しつつ、AQよりも符号化の複雑さを低減する依存関係の階層を導入する。
• 標準的な指標を用いて評価する：量子化誤差、トップ5分類誤差、および実世界のデータセットにおける学習・符号化時間。

実験結果

リサーチクエスチョン

• RQ1 階層的コードブック構造は、加法的量子化（AQ）の低量子化誤差を維持しつつ、符号化の複雑さを低減できるか？
• RQ2 量子化誤差と符号化速度の観点から、スタックド・クオンタイザ（SQ）はPQおよびAQと比べてどのように性能を発揮するか？
• RQ3 SIFT1Bや深層畳み込み特徴量のような大規模データセットに対し、この手法は効果的にスケーリングできるか？
• RQ4 32ビットの極端な圧縮率下でも、スタックド・クオンタイザは高い精度を維持できるか？
• RQ5 訓練および符号化の効率性を鑑みれば、実世界のリtrievalシステムにおいてこの手法は実用的か？

主な発見

• スタックド・クオンタイザは、加法的量子化（AQ）と同等またはそれ以下の量子化誤差を達成しており、すべてのベンチマークでPQおよびOPQを上回る性能を発揮する。
• 100万個の特徴量に対してSQの符号化時間は約20秒であるのに対し、AQは9.2時間にのぼり、SQは大規模なアプリケーションにおいて実用的であることが示された。
• ConvNet1M-128データセットにおいて、コードブックのリファインメントを100イテレーション実施した結果、量子化誤差は0.12から0.10に低下し、リファインメントによる改善は20%にのぼった。
• 128次元の特徴量において、SQは4つのコードブックでAQの性能を再現し、より大きなコードサイズではAQを上回る性能を発揮しながらも、より高速な符号化を維持した。
• 極端な圧縮（32ビット）において、SQはPQ/OPQよりも滑らかに性能が低下し、トップ5誤差率は25–30%に保たれたのに対し、PQ/OPQは35–45%にまで上昇した。
• 10億個の特徴量に対しては、SQの符号化に約6時間、AQでは約1.05年を要するため、SQのスケーラビリティの優位性が顕著に示された。