[論文レビュー] Binary embeddings with structured hashed projections

Anna Choromanska, Krzysztof Choromański+4 more|arXiv (Cornell University)|Nov 16, 2015

Advanced Image and Video Retrieval Techniques参考文献 43被引用数 26

ひとこと要約

本稿では、限られた「ランダムネスの予算」を有する擬似ランダム行列を用いた構造的ハッシュ化プロジェクションを提案し、高次元データをバイナリ埋め込みに効率的に圧縮することで、角距離を保持する。理論的にジョンソン＝リンデンストラスの補題を非線形符号写像を含む形に拡張し、巡回行列、トーペリッツ行列、その他の構造的行列が距離の正確性を維持することを証明した。これにより、深層学習や近隣探索システムにおいて、最小限の性能損失で高速かつ低メモリな計算が可能になる。

ABSTRACT

We consider the hashing mechanism for constructing binary embeddings, that involves pseudo-random projections followed by nonlinear (sign function) mappings. The pseudo-random projection is described by a matrix, where not all entries are independent random variables but instead a fixed "budget of randomness" is distributed across the matrix. Such matrices can be efficiently stored in sub-quadratic or even linear space, provide reduction in randomness usage (i.e. number of required random values), and very often lead to computational speed ups. We prove several theoretical results showing that projections via various structured matrices followed by nonlinear mappings accurately preserve the angular distance between input high-dimensional vectors. To the best of our knowledge, these results are the first that give theoretical ground for the use of general structured matrices in the nonlinear setting. In particular, they generalize previous extensions of the Johnson-Lindenstrauss lemma and prove the plausibility of the approach that was so far only heuristically confirmed for some special structured matrices. Consequently, we show that many structured matrices can be used as an efficient information compression mechanism. Our findings build a better understanding of certain deep architectures, which contain randomly weighted and untrained layers, and yet achieve high performance on different learning tasks. We empirically verify our theoretical findings and show the dependence of learning via structured hashed projections on the performance of neural network as well as nearest neighbor classifier.

研究の動機と目的

• 一般の構造的行列を用いた非線形バイナリハッシングにおいて、角距離を保持する理論的裏付けを提供すること。
• ランダム行列の使用に伴うランダムネスの使用量と保存コストを削減するため、固定された「ランダムネスの予算」を構造的行列に分散すること。
• 深層ネットワークにおける訓練されていない、ランダムに重み付けされた層の実用的成果を理論的枠組みで説明すること。
• 教師あり学習におけるニューラルネットワークおよびk-NN分類器の性能に、構造的ハッシングが与える影響を評価すること。
• 構造的行列を用いた高速な行列-ベクトル乗算により、計算効率とメモリ節約を実証すること。

提案手法

• 完全に独立したランダム要素ではなく、固定されたランダムネス予算を持つ構造的行列（例：巡回、トーペリッツ、半シフト、バイナリ順列）を用いる。
• 構造的行列による線形プロジェクションの後に符号関数（非線形写像）を適用し、バイナリ埋め込みを生成する。
• 理論的分析により、ジョンソン＝リンデンストラスの補題を非線形写像を含む形に拡張し、ハッシュ空間における角距離の保持を証明する。
• 特に巡回行列およびトーペリッツ行列に対して、高速変換（例：FFT）を活用して効率的な行列-ベクトル乗算を実現する。
• さまざまな構造的行列とランダムベースラインを用いて、フィードフォワードニューラルネットワークおよびk-NN分類器における性能を実験的に評価する。
• メモリ複雑度、ランダムネス使用量、テスト誤差の観点から、ランダム、バイナリ順列、半シフト、構造的行列などの異なる行列タイプを比較する。

実験結果

リサーチクエスチョン

• RQ1 制限されたランダムネスを有する構造的行列が、符号非線形写像を経た後でも角距離を保持できるか？
• RQ2 次元削減に構造的ハッシュプロジェクションを用いる場合、ニューラルネットワークおよびk-NN分類器の性能はどのように変化するか？
• RQ3 バイナリ埋め込みに構造的行列を用いる際の、メモリ効率、計算速度、精度のトレードオフは何か？
• RQ4 深層ネットワークにおける訓練されていない、ランダムに重み付けされた層が依然として高い性能を発揮する理由は何か？その理由を理論的に説明できるか？
• RQ5 どの構造的行列タイプが、性能、メモリ効率、ランダムネス削減の観点で最良のバランスを提供するか？

主な発見

• 理論的結果により、ジョンソン＝リンデンストラスの補題が非線形符号写像を含む形に拡張され、構造的行列がハッシュ空間における角距離を保持することを証明した。
• テストされたすべての構造的行列（巡回、トーペリッツ、半シフト、バイナリシフト、バイナリ順列）がほぼ最適に近い性能を達成し、バイナリ順列とランダム行列は同等の性能を示した。
• 性能の低下は、データ圧縮比（n/k）の増加に伴いほぼ線形に増加し、誤差の増加が予測可能で安定していた。
• メモリ複雑度は顕著に削減された：構造的行列は密度のあるランダム行列のO(n²)と比較してO(n)の空間で十分だった。
• 特に巡回行列およびトーペリッツ行列において、高速変換（例：FFT）を活用した計算の高速化が達成され、効率的な行列-ベクトル乗算が可能になった。
• 分類精度の損失を最小限に抑えつつ、効果的な次元削減が可能であり、深層アーキテクチャにおける訓練されていないランダム重み付き層の使用を支持する結果となった。