[論文レビュー] PQk-means: Billion-scale Clustering for Product-quantized Codes

Yusuke Matsui, Keisuke Ogaki+2 more|arXiv (Cornell University)|Sep 12, 2017

Advanced Image and Video Retrieval Techniques参考文献 25被引用数 3

ひとこと要約

PQk-means は、元の高次元ベクトルの代わりに製品量子化（PQ）コード上で直接処理を行う、メモリ効率に優れた100億スケールのクラスタリング手法である。中心の更新にはスパース投票方式を、割当処理にはPQTableを用いることで、128次元のSIFT特徴量10億個をK=10⁵でクラスタリングするのに14時間で処理可能であり、32ビットのPQコードでも高い精度を達成している。

ABSTRACT

Data clustering is a fundamental operation in data analysis. For handling large-scale data, the standard k-means clustering method is not only slow, but also memory-inefficient. We propose an efficient clustering method for billion-scale feature vectors, called PQk-means. By first compressing input vectors into short product-quantized (PQ) codes, PQk-means achieves fast and memory-efficient clustering, even for high-dimensional vectors. Similar to k-means, PQk-means repeats the assignment and update steps, both of which can be performed in the PQ-code domain. Experimental results show that even short-length (32 bit) PQ-codes can produce competitive results compared with k-means. This result is of practical importance for clustering in memory-restricted environments. Using the proposed PQk-means scheme, the clustering of one billion 128D SIFT features with K = 10^5 is achieved within 14 hours, using just 32 GB of memory consumption on a single computer.

研究の動機と目的

• 100億スケールの高次元データに対する標準k-meansの高いメモリおよび計算コストを低減すること。
• 限られたメモリ（例：32GB未満）を備えた単一マシン上で大規模データセットの効率的クラスタリングを可能にすること。
• 製品量子化を用いることで、メモリ使用量を大幅に削減しながらもクラスタリングの精度を維持すること。
• 明示的な平均化の意味を持たないPQコードに対して、高速かつ正確な中心更新メカニズムを開発すること。
• クラスタリング後も元の高次元ベクトルをPQコードから近似的に再構築可能であり、下流タスクへの有用性を保持すること。

提案手法

• 高次元特徴ベクトルを製品量子化（PQ）を用いて短いPQコードに圧縮する。
• 元の高次元ベクトルのストレージおよび計算を回避するため、PQコードドメイン上で直接クラスタリングを実行する。
• 各クラスタ中心に最も近いPQコードを素早く照会できるPQTableを用いて、最近傍中心割当ステップを高速化する。
• 中心の更新にスパース投票方式を提案：各クラスタごとに割り当てられたPQコードの頻度ヒストグラムを維持し、非ゼロエントリのモードを計算することで新しい中心を決定する。
• すべての可能なPQコードの組み合わせを評価するブルートフォース法を避けるために、非ゼロヒストグラムエントリにのみ注目することで、正確な中心計算を保証する。
• 収束するまで、PQTableを用いた割当ステップと、スパース投票を用いた更新ステップを繰り返し実行する。

実験結果

リサーチクエスチョン

• RQ1 1台のマシンで32GBのRAMのみを用いて、100億スケールの高次元データに対するクラスタリングを効率的に行えるか？
• RQ2 短いPQコード（例：32ビット）を用いた場合、PQk-meansの精度は標準k-meansや他の大規模クラスタリング手法と比べてどの程度か？
• RQ3 クラスタリング後、PQコードから元の高次元ベクトルを近似的に再構築可能であり、下流アプリケーションへの有用性が保持されるか？
• RQ4 PQコードの中心更新に用いるスパース投票方式は、ブルートフォース法と比較して計算効率が高くかつ正確か？
• RQ5 SIFT1B や Deep1B といったさまざまな大規模データセットにおいて、PQk-meansの実行時間およびメモリ使用量のスケーリング特性はどのようになるか？

主な発見

• PQk-means は、128次元のSIFT特徴量10億個をK=10⁵でクラスタリングするのに14時間で処理可能であり、メモリ使用量は32GBにとどまる。一方、標準k-meansでは512GBのメモリが必要となる。
• 32ビットのPQコードを用いても、PQk-meansは標準k-meansと同等の精度を達成し、64ビットコードを用いたBk-meansでさえも上回った。
• スパース投票方式により、すべての可能なPQコードの組み合わせを評価する計算負荷を回避し、正確な中心計算が大幅に高速化された。
• SIFT1B および Deep1B データセットにおける実行時間は予測可能で一貫しており、10⁹個のベクトルとK=10⁵のクラスタリングがSIFT1Bでは14時間、Deep1Bでは12時間で完了した。
• 短い32ビットPQコードでもPQk-meansは高い精度を維持したため、メモリ制限のある環境において実用的であることが示された。
• IQ-meansとは異なり、PQk-meansはYFCC100Mデータセットで顕著に高い精度を達成しながらも、メモリ効率を保った。一方、Ak-meansとは異なり、圧縮コード上で処理することではるかに少ないメモリ使用量で済んだ。