[論文レビュー] Tradeoffs for nearest neighbors on the sphere

Thijs Laarhoven|arXiv (Cornell University)|Nov 24, 2015

Computational Geometry and Mesh Generation参考文献 17被引用数 12

ひとこと要約

本稿は、球面上の近似最近傍探索における球面フィルタを用いた、クエリとアップデートの計算量の間の新たなトレードオフフレームワークを提案する。このフレームワークは、近似要因 $c$、クエリの指数 $ ho_{\text{q}}$、アップデートの指数 $ ho_{\text{u}}$ を含むタイトなトレードオフ式を導出し、既知の下界に一致する漸近的最適性能を達成する。従来のLSHベースの手法に比べ、特にスパースな状況や大きな $c$ の場合に優れている。

ABSTRACT

We consider tradeoffs between the query and update complexities for the (approximate) nearest neighbor problem on the sphere, extending the recent spherical filters to sparse regimes and generalizing the scheme and analysis to account for different tradeoffs. In a nutshell, for the sparse regime the tradeoff between the query complexity $n^{ρ_q}$ and update complexity $n^{ρ_u}$ for data sets of size $n$ is given by the following equation in terms of the approximation factor $c$ and the exponents $ρ_q$ and $ρ_u$: $$c^2\sqrt{ρ_q}+(c^2-1)\sqrt{ρ_u}=\sqrt{2c^2-1}.$$ For small $c=1+ε$, minimizing the time for updates leads to a linear space complexity at the cost of a query time complexity $n^{1-4ε^2}$. Balancing the query and update costs leads to optimal complexities $n^{1/(2c^2-1)}$, matching bounds from [Andoni-Razenshteyn, 2015] and [Dubiner, IEEE-TIT'10] and matching the asymptotic complexities of [Andoni-Razenshteyn, STOC'15] and [Andoni-Indyk-Laarhoven-Razenshteyn-Schmidt, NIPS'15]. A subpolynomial query time complexity $n^{o(1)}$ can be achieved at the cost of a space complexity of the order $n^{1/(4ε^2)}$, matching the bound $n^{Ω(1/ε^2)}$ of [Andoni-Indyk-Patrascu, FOCS'06] and [Panigrahy-Talwar-Wieder, FOCS'10] and improving upon results of [Indyk-Motwani, STOC'98] and [Kushilevitz-Ostrovsky-Rabani, STOC'98]. For large $c$, minimizing the update complexity results in a query complexity of $n^{2/c^2+O(1/c^4)}$, improving upon the related exponent for large $c$ of [Kapralov, PODS'15] by a factor $2$, and matching the bound $n^{Ω(1/c^2)}$ of [Panigrahy-Talwar-Wieder, FOCS'08]. Balancing the costs leads to optimal complexities $n^{1/(2c^2-1)}$, while a minimum query time complexity can be achieved with update complexity $n^{2/c^2+O(1/c^4)}$, improving upon the previous best exponents of Kapralov by a factor $2$.

研究の動機と目的

• 球面上の近似最近傍探索におけるクエリとアップデートの計算量のトレードオフを、特にスパースなデータ環境において解決すること。
• 既存の局所性に敏感なハッシュ（LSH）手法を上回る性能を達成するため、球面フィルタリング技術を拡張すること。
• 与えられた近似要因 $c$ に対して、クエリ（$n^{\rho_{\text{q}}}$）とアップデート（$n^{\rho_{\text{u}}}$）の計算量の間のタイトな解析的トレードオフを導出すること。
• 高次元空間における近似最近傍探索の既知の下界に一致または上回る性能を達成すること。
• 球面フィルタを、クロスポリトープLSHのような効率的なハッシュスキームと組み合わせることで、復号のオーバーヘッドを低減する可能性を検討すること。

提案手法

• 空間の完全な分割を必要とせず、データポイントを球面キャップにマップすることで、候補のフィルタリングを効率的に行える球面フィルタリングフレームワークを提案する。
• 覆い半径を制御できるようにするために、$C = C_1 \times \cdots \times C_m$ の連結符号を用い、検索プロセス中に偽陰性が発生しないようにする。
• 重要なトレードオフ式を導出：$ c^{2}\sqrt{\rho_{\text{q}}} + (c^{2}-1)\sqrt{\rho_{\text{u}}} = \sqrt{2c^{2}-1} $、これはクエリとアップデートの計算量のバランスを支配する。
• 小および大の $c$ におけるトレードオフの漸近的挙動を分析し、既知の下界に一致することから、両領域で最適性を示す。
• スパースな部分符号（例：Leech格子に基づく、またはランダムなスパース符号）を用いることで、復号の計算量を低減しつつ性能を維持する。
• 球面上のランダムな設定にこのフレームワークを適用し、データポイントが角距離に関して $c$ に従うと仮定し、それに応じた性能の上限を導出する。

実験結果

リサーチクエスチョン

• RQ1 球面フィルタを用いた球面上の近似最近傍探索における、クエリとアップデートの計算量の最適なトレードオフは何か？
• RQ2 提案されたトレードオフは、高次元空間における近似最近傍探索の既知の下界とどのように比較できるか？
• RQ3 このトレードオフを最適化することで、多項式時間より小さいクエリ時間 $n^{o(1)}$ を達成しつつ、空間のオーバーヘッドを最小限に抑えられるか？また、従来のLSHベースの手法と比べてどうか？
• RQ4 導出されたトレードオフは最適であり、理論的境界や予想を用いてそれがタイトであることを証明できるか？
• RQ5 球面フィルタは、クロスポリトープLSHのような効率的なハッシュスキームと組み合わせることで、復号の計算量を低減しつつ、漸近的最適性を維持できるか？

主な発見

• 提案されたトレードオフ式 $ c^{2}\sqrt{\rho_{\text{q}}} + (c^{2}-1)\sqrt{\rho_{\text{u}}} = \sqrt{2c^{2}-1} $ は、球面近似最近傍探索におけるクエリとアップデートの計算量の最適なバランスを特徴づける。
• 小さな $c = 1 + \varepsilon$ の場合、クエリとアップデートのコストをバランスさせると、$n^{1/(2c^2 - 1)}$ の計算量が得られ、AndoniとRazenshteyn（2015年）およびDubiner（2010年）の下界と一致する。
• スパースなクエリ時間 $n^{o(1)}$ は、空間計算量 $n^{1/(4\varepsilon^2)}$ のコストを支払うことで達成可能であり、Panigrahyら（2008年、2010年）の下界 $n^{\Omega(1/\varepsilon^2)}$ と一致する。
• 大きな $c$ の場合、アップデートの計算量を最小化すると、クエリの計算量は $n^{2/c^2 + O(1/c^4)}$ となる。これはKapralov（2015年）の結果を指数の係数で2倍改善する。
• クエリとアップデートのコストをバランスさせると、$n^{1/(2c^2 - 1)}$ のオーダーの最適な計算量が得られ、既知の下界と一致し、従来のLSHスキームを上回る。
• このフレームワークは、スパースおよび密度の高い両領域で漸近的最適性を達成する。また、このトレードオフは情報理論的に最適であると予想されており、$\sqrt{\rho_{\text{q}}} + \sqrt{\rho_{\text{u}}} \cos\theta \geq \sin\theta$ を含む予想が提示されている。