[論文レビュー] Locality-Sensitive Hashing for f-Divergences: Mutual Information Loss and Beyond

Lin Chen, Hossein Esfandiari+2 more|arXiv (Cornell University)|Oct 28, 2019

Face and Expression Recognition被引用数 4

ひとこと要約

本稿では、f-発散と Kreĭn カーネルのための局所性に敏感なハッシュ（LSH）スキームを提案し、高次元確率空間における近似的な最近傍探索を効率的に行うことを可能にする。f-発散の一般化枠組みを、保証付きの両側境界を有するヘルンガー近似を用いて提示し、相互情報量損失のための損失なし還元を最大内積探索（MIPS）に実施することで、モデル圧縮やレコメンデーションシステムなどの応用分野におけるスケーラブルな類似度検索を実現する。

ABSTRACT

Computing approximate nearest neighbors in high dimensional spaces is a central problem in large-scale data mining with a wide range of applications in machine learning and data science. A popular and effective technique in computing nearest neighbors approximately is the locality-sensitive hashing (LSH) scheme. In this paper, we aim to develop LSH schemes for distance functions that measure the distance between two probability distributions, particularly for f-divergences as well as a generalization to capture mutual information loss. First, we provide a general framework to design LHS schemes for f-divergence distance functions and develop LSH schemes for the generalized Jensen-Shannon divergence and triangular discrimination in this framework. We show a two-sided approximation result for approximation of the generalized Jensen-Shannon divergence by the Hellinger distance, which may be of independent interest. Next, we show a general method of reducing the problem of designing an LSH scheme for a Krein kernel (which can be expressed as the difference of two positive definite kernels) to the problem of maximum inner product search. We exemplify this method by applying it to the mutual information loss, due to its several important applications such as model compression.

研究の動機と目的

• f-発散の一般化された LSH フレームワークを構築し、高次元確率分布におけるスケーラブルな近似的最近傍探索を可能にする。
• 一般化されたジェンセン・シャノン発散および関連する f-発散に関する先行研究における、保証付き近似の欠如を解消する。
• Kreĭn カーネルに基づく類似度（例：相互情報量損失）を最大内積探索（MIPS）に理論的に損失なしで還元する。
• 実世界のデータセット（MNIST、Fashion MNIST、CIFAR-10 など）における情報理論的距離のための LSH の実用的導入を可能にする。
• 大規模類似度検索タスクにおける、精度と高速化の間の妥当なトレードオフを実証する。

提案手法

• ヘルンガー距離を代理として用いることで、f-発散のための LSH 家族を設計するための一般化還元ツール（命題 1）を提案する。
• 一般化されたジェンセン・シャノン（GJS）発散とヘルンガー距離の間の両側近似境界を確立し、理論的保証を可能にする。
• このフレームワークを適用して、2 つの特定の f-発散（一般化されたジェンセン・シャノン発散および三角形分散）のための LSH スキームを構築する。
• Kreĭn カーネルに基づく類似度（例：相互情報量損失）を最大内積探索（MIPS）に一般化還元する。これにより、既存の MIPS 最適化 LSH 家族の利用が可能になる。
• コサイン類似度のためのランダム射影ベース LSH を用いて MIPS コンponent を実装し、複数のハッシュ関数を連結して合成ハッシュ関数を形成する。
• ノルム範囲分割戦略を導入し、高次元空間における $ \text{sign}(\bfx^\top \bfa) $-ベースのハッシュ関数による性能劣化を緩和する。

実験結果

リサーチクエスチョン

• RQ1 一般化されたジェンセン・シャノン発散のための、保証付き近似境界を有する LSH スキームを設計できるか、特に一般化されたジェンセン・シャノン発散に対してはいかがであるか？
• RQ2 ヘルンガー距離は一般化されたジェンセン・シャノン発散をどの程度正確に近似できるか？また、この近似のタイトネス境界は何か？
• RQ3 Kreĭn カーネルに基づく類似度のための LSH 問題を、理論的に損失なしに最大内積探索（MIPS）に還元できるか？
• RQ4 実世界の画像データセット（MNIST、Fashion MNIST、CIFAR-10）における、相互情報量損失のための提案 LSH スキームの精度と高速化性能はどの程度か？
• RQ5 提案手法を用いた大規模近的最近傍探索において、計算効率（高速化）と検索品質（精度）の間のトレードオフはいかなるものか？

主な発見

• 一般化されたジェンセン・シャノン発散は、ヘルンガー距離によってタイトに両側近似可能であり、Reuters-21578 トピック分布を用いた実験で、λ 値（1/2、1/3、1/10）の異なる条件下でも上界および下界の両方がタイトであることが実証された。
• Fashion MNIST、MNIST、CIFAR-10 において、K=3 および L=40 のハッシュ関数を用いることで、LSH を用いた k-NN 検索が最大 10 倍の高速化を達成し、精度は 0.8 を超えた。
• 連結ハッシュ関数の数 K を 3 から 5 に増加させることで、同じ精度目標下で効率性が向上し、固定精度レベルにおいて K の増加がより良い性能をもたらすことが示された。
• 一般化されたジェンセン・シャノン発散の λ 値の変化に対しても、精度の著しい低下が見られず、パラメータ選択に対して安定であることが示された。
• MIPS 還元を介した相互情報量損失のための LSH スキームは理論的に損失なしであり、モデル圧縮やレコメンデーションシステムなどの応用分野における効率的な類似度検索を可能にする。
• ノルム範囲分割戦略は、$ \norm{\bfx}_2 $ が大きい高次元空間において、$ \text{sign}(\bfx^\top \bfa) $-ベースのハッシュ関数による性能劣化を効果的に緩和した。