[論文レビュー] A Sparse Johnson-Lindenstrauss Transform Using Fast Hashing

Jakob Bæk Tejs Houen, Mikkel Thorup|arXiv (Cornell University)|Jan 1, 2023

Sparse and Compressive Sensing Techniques被引用数 1

ひとこと要約

本稿では、Sparse Johnson-Lindenstrauss Transform (SJLT) の新たな分析を提示する。従来の高次独立性を要するハッシュ関数に代わり、弱いハッシュ関数の性質である「分離性」と「強い集中性」のみを要件としている。本稿では、実用的で効率的なハッシュ関数である Mixed Tabulation hashing がこれらの条件を満たすことを証明し、実世界のハッシュ関数を用いて、歪みの保証が得られる最初の実用的インスタンスを実現する。

ABSTRACT

The Sparse Johnson-Lindenstrauss Transform of Kane and Nelson (SODA 2012) provides a linear dimensionality-reducing map A ∈ ℝ^{m × u} in 𝓁₂ that preserves distances up to distortion of 1 + ε with probability 1 - δ, where m = O(ε^{-2} log 1/δ) and each column of A has O(ε m) non-zero entries. The previous analyses of the Sparse Johnson-Lindenstrauss Transform all assumed access to a Ω(log 1/δ)-wise independent hash function. The main contribution of this paper is a more general analysis of the Sparse Johnson-Lindenstrauss Transform with less assumptions on the hash function. We also show that the Mixed Tabulation hash function of Dahlgaard, Knudsen, Rotenberg, and Thorup (FOCS 2015) satisfies the conditions of our analysis, thus giving us the first analysis of a Sparse Johnson-Lindenstrauss Transform that works with a practical hash function.

研究の動機と目的

• Sparse Johnson-Lindenstrauss Transform (SJLT) のハッシュ関数に対する高次独立性の依存度を低減すること。これは、従来、Ω(log 1/δ)-wise 独立なハッシュ関数を必要としていた。
• SJLT が (1±ε) の歪みで ℓ2 距離を高確率で保つために必要なハッシュ関数の最小限の十分条件を同定すること。
• 実用的で効率的なことで知られる Mixed Tabulation hashing が、これらの新しい条件を満たすことを示し、最適なターゲット次元 m = O(ε⁻² log(1/δ)) を用いて、実用的かつ保証付きの正しい SJLT の実現を可能にすること。
• 高次独立性の構成に限らない、より広いクラスのハッシュ関数に適用可能な、SJLT の一般化された分析フレームワークを提供すること。

提案手法

• 高次独立性への依存を排除するため、分離-分解と強い集中性の境界に基づく、SJLT の新しい分析フレームワークを導入する。
• 単純なタブロレーションと導出文字を組み合わせた Mixed Tabulation hashing を用いて、計算が効率的なスパース埋め込み行列を構築する。
• 濃度不等式（例：補題 14, 15）を用いて、ハッシュ衝突上の重み付き和の ℓp ノルムを抑え、歪みの制御を実現する。
• 衝突の種別に基づいて分析をケースごとに分解する：同じ導出ハッシュ (h2) と異なる導出ハッシュ (h2) の場合を、部分的およびプレフィックス分割を用いて処理する。
• Mixed Tabulation hashing の構造を活用し、log|Σ| と p を含む γc_p 要因を介して、埋め込みの2次モーメントを制御する。
• 分離の議論を用いて、ハッシュ関数のランダム性と入力ベクトルのランダム性を分離し、部分的ガウス型の尾部推定により濃度境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 Sparse Johnson-Lindenstrauss Transform が (1±ε) の歪み内で ℓ2 距離を保つために、ハッシュ関数が満たすべき最小限の性質は何か？
• RQ2 実用的効率性で知られる Mixed Tabulation hashing が、形式的に解析可能であり、保証付きの正しい SJLT を支えることができるか？
• RQ3 新しい分析フレームワークにより、先行研究と比較してハッシュ関数の独立性要件が低減可能か？
• RQ4 実用的ハッシュ関数を用いても歪みの保証を維持したまま、埋め込み時間を O(εm ∥x∥0) に改善できるか？
• RQ5 Mixed Tabulation hashing の下で、埋め込みベクトルのノルムに対する最もタイトな濃度境界は何か？

主な発見

• 本稿では、Sparse Johnson-Lindenstrauss Transform が、ハッシュ関数の分離性と強い集中性の性質のみを要件とすることを確立し、従来の仮定を著しく弱める。
• Mixed Tabulation hashing は必要な条件を満たしており、最適なターゲット次元 m = O(ε⁻² log(1/δ)) を用いて、保証付きの正しい SJLT を実現する最初の実用的ハッシュ関数である。
• 分析により、埋め込み誤差の ℓp ノルムが O(γc_p ∥w∥₂) で抑えられ、γc_p = Kc max{1, √(log|Σ|)}（K は普遍定数）であることが示され、濃度が保証される。
• 最大座標ごとの埋め込み誤差に対しては、O(s / (γc_p log m / log(m/s))) ∥w∥₂ の境界が得られ、最悪歪みが制御される。
• 埋め込み誤差の2次モーメントは、O(γc_p max{s ∥w∥₂², √(log(m/s)) ∥w∥₂²}) で抑えられ、分散に対するきめ細やかな制御が実現される。
• フレームワークは最適なターゲット次元 m = O(ε⁻² log n) と列スパarsity s = O(ε⁻¹ log n) を達成し、定数倍を除いて既知の下界と一致する。