[論文レビュー] Circulant Binary Embedding

Felix Yu, Sanjiv Kumar+2 more|arXiv (Cornell University)|May 13, 2014

Advanced Image and Video Retrieval Techniques参考文献 25被引用数 124

ひとこと要約

本稿では、高速で低メモリ消費のバイナリ符号化を高次元データに対して実現するため、巡回行列を用いたCirculant Binary Embedding (CBE) を提案する。高速フーリエ変換（FFT）を活用することで、時間計算量をO(d²)からO(d log d)、空間計算量をO(d²)からO(d)に削減し、固定時間では最先端の性能を達成するとともに、固定ビット長では性能を損なわずに著しく高速な計算を実現した。

ABSTRACT

Binary embedding of high-dimensional data requires long codes to preserve the discriminative power of the input space. Traditional binary coding methods often suffer from very high computation and storage costs in such a scenario. To address this problem, we propose Circulant Binary Embedding (CBE) which generates binary codes by projecting the data with a circulant matrix. The circulant structure enables the use of Fast Fourier Transformation to speed up the computation. Compared to methods that use unstructured matrices, the proposed method improves the time complexity from $\mathcal{O}(d^2)$ to $\mathcal{O}(d\log{d})$, and the space complexity from $\mathcal{O}(d^2)$ to $\mathcal{O}(d)$ where $d$ is the input dimensionality. We also propose a novel time-frequency alternating optimization to learn data-dependent circulant projections, which alternatively minimizes the objective in original and Fourier domains. We show by extensive experiments that the proposed approach gives much better performance than the state-of-the-art approaches for fixed time, and provides much faster computation with no performance degradation for fixed number of bits.

研究の動機と目的

• 高次元データに適用する際、従来のバイナリ埋め込み手法が抱える高い計算コストとストレージコストを軽減すること。
• 大規模データセットと高次元入力に対して、効率的な長バイナリコード（O(d)-ビット）の学習を可能にすること。
• 時間計算量と空間計算量を低減しつつ、検索性能や学習性能を維持または向上させること。
• バイナリ空間における判別力の保持を図る、スケーラブルでデータ依存の学習手法を開発すること。

提案手法

• CBEは、投影行列Rに巡回行列構造を用いることで、高速フーリエ変換（FFT）を活用し、O(d log d)の時間計算量を達成する。
• 巡回構造により、行列-ベクトル積を、FFTとIFFTを用いて周波数領域に変換することで効率的に計算できる。
• 時間領域と周波数領域を交互に最適化する、新たな時周波数交互最適化法を提案し、データ依存の巡回投影を学習する。
• 最適化は、時間領域でバイナリコードを更新し、周波数領域で巡回ベクトルを二次的目的関数を用いて改善することで、交互に繰り返す。
• 周波数領域で閉形式解が得られる正則化項を導入し、直交性を維持してコード品質を向上させる。
• ペairワイズ類似度/非類似度目的関数を追加することで、半教師あり学習に拡張し、バイナリ空間における距離の保存を促進する。

実験結果

リサーチクエスチョン

• RQ1 構造的投影行列を用いることで、性能を損なわず時間計算量と空間計算量を低減できるか？
• RQ2 巡回行列とFFTを組み合わせることで、超高次元データ（例：d ~ 100M）に対してもスケーラブルなバイナリ符号化が可能か？
• RQ3 時周波数交互最適化は、標準的手法に比べて優れたデータ依存バイナリコードを生成できるか？
• RQ4 固定時間または固定ビット長の制約下で、CBEは最先端手法と比べて精度と速度の両面で優れているか？

主な発見

• CBEはO(d log d)の時間計算量とO(d)の空間計算量を達成し、非構造的行列のO(d²)に比べ顕著な改善を示した。
• 固定時間予算下では、CBEは最先端手法を上回る検索精度を達成し、優れた効率性を示した。
• 同じビット数に制限された場合、CBEはITQ や双線形符号化といった高コストな手法と同等またはそれを上回る性能を維持した。
• ImageNet-25600において、CBEの半教師あり拡張版は非半教師ありバージョンに比べAUCを2%向上させた。
• 実験では、次元数が増加するにつれてCBEとITQの性能差が縮小する傾向が示され、CBEが高次元データに対してよりスケーラブルであることが示唆された。