[論文レビュー] On Binary Embedding using Circulant Matrices

Felix X. Yu, Aditya Bhaskara+3 more|arXiv (Cornell University)|Nov 20, 2015

Face and Expression Recognition参考文献 40被引用数 7

ひとこと要約

本稿では、高次元データのバイナリ埋め込みを高速化するための構造的巡回行列を用いるCirculant Binary Embedding (CBE)を提案する。高速フーリエ変換（FFT）を活用することで、時間計算量を𝒪(dk)から𝒪(d log d)、空間計算量を𝒪(dk)から𝒪(d)に削減し、非構造的手法と比較して性能損失が最小限である一方で、最先端の速度を達成する。また、精度向上を図るためのデータ依存型最適化も可能である。

ABSTRACT

Binary embeddings provide efficient and powerful ways to perform operations on large scale data. However binary embedding typically requires long codes in order to preserve the discriminative power of the input space. Thus binary coding methods traditionally suffer from high computation and storage costs in such a scenario. To address this problem, we propose Circulant Binary Embedding (CBE) which generates binary codes by projecting the data with a circulant matrix. The circulant structure allows us to use Fast Fourier Transform algorithms to speed up the computation. For obtaining $k$-bit binary codes from $d$-dimensional data, this improves the time complexity from $O(dk)$ to $O(d\log{d})$, and the space complexity from $O(dk)$ to $O(d)$. We study two settings, which differ in the way we choose the parameters of the circulant matrix. In the first, the parameters are chosen randomly and in the second, the parameters are learned using the data. For randomized CBE, we give a theoretical analysis comparing it with binary embedding using an unstructured random projection matrix. The challenge here is to show that the dependencies in the entries of the circulant matrix do not lead to a loss in performance. In the second setting, we design a novel time-frequency alternating optimization to learn data-dependent circulant projections, which alternatively minimizes the objective in original and Fourier domains. In both the settings, we show by extensive experiments that the CBE approach gives much better performance than the state-of-the-art approaches if we fix a running time, and provides much faster computation with negligible performance degradation if we fix the number of bits in the embedding.

研究の動機と目的

• 長コード長に伴い性能が著しく低下する従来のバイナリ埋め込み手法の高い計算コストとストレージコストを低減すること。
• 非構造的ランダム射影行列の代替として、行列の構造を利用した高速で低メモリな代替手法を開発すること。
• 巡回行列を用いた効率的なバイナリコード計算を実現しつつ、類似度検索に不可欠な角度保存性を維持すること。
• ランダム初期化を超える埋め込み品質の向上を図るため、データ依存型最適化フレームワークを設計すること。
• 固定時間またはビット長制約下で、非構造的および最先端の手法と比較して、構造的巡回射影が性能を同等または上回ることを実証すること。

提案手法

• 入力ベクトルxをd次元からkビットのバイナリコードh(x) = sign(Ax)に射影するために、巡回行列Aを用いる。Aは巡回構造を持つため、FFTによる高速化が可能である。
• 巡回行列の固有基底を活用することで、行列-ベクトル積を𝒪(dk)ではなく𝒪(d log d)時間で計算可能となる。
• 巡回行列の最初の行のみを保存することで、空間計算量を𝒪(dk)から𝒪(d)に削減する。
• 2つの変種を提案：CBE-rand（ランダム初期化の巡回行列）とCBE-opt（時間周波数交互最適化により学習されたパラメータ）。
• 時間領域と周波数領域の両方で目的関数を交互に最小化する新しい最適化アルゴリズムを設計し、データ依存型巡回射影を学習する。
• 射影されたベクトルに符号関数を適用することで、{−1, 1}^kに属するバイナリコードを生成し、入力ベクトル間の角度関係を保持する。

実験結果

リサーチクエスチョン

• RQ1 エントリ間に依存関係を持つ巡回行列が、バイナリ埋め込みにおけるランダム射影行列の角度保存性を維持できるか。
• RQ2 巡回行列にFFTを適用することで、埋め込み品質を損なわず、時間計算量と空間計算量を顕著に削減できるか。
• RQ3 巡回行列パラメータのデータ依存型学習が、ランダム初期化に比べて性能向上をもたらすか。
• RQ4 固定時間またはビット長制約下で、FBE、FJLT、ITQといった最先端手法と比較して、CBEの速度とリtrieval精度はどの程度か。
• RQ5 CBEの性能は、リtrievalや分類を含む多様なデータセットやタスクに対して、安定的か。

主な発見

• CBE-randは、FBE や FJLT と同等または優れたリtrieval性能を達成しており、FFTによる高速化のおかげで著しく高速である。
• CBE-optは、評価されたすべてのデータセットで最高のリcallを達成し、特に高ビット長においてITQ や FBE を上回る。
• Flickr-25600データセットでは、CBE-randはFBE や FJLT と同等または優れた性能を示し、計算リソースの消費が著しく少ない。
• ImageNet-25600では、25,600ビットのコードを用いてもCBEは分類精度24.55% ± 0.30を維持し、LSH や二重線形符号と同等の性能を発揮するが、はるかに高速である。
• CBEの時間計算量は𝒪(dk)から𝒪(d log d)に、空間計算量は𝒪(dk)から𝒪(d)に削減され、高次元データの効率的処理が可能になる。
• 理論的分析により、ランダム化されたCBEが、巡回行列内にエントリの依存関係が存在するにもかかわらず、Johnson-Lindenstrauss型埋め込みの角度保存性を保持することが確認された。