[論文レビュー] When Hashes Met Wedges: A Distributed Algorithm for Finding High Similarity Vectors

Aneesh Sharma, C. Seshadhri+1 more|arXiv (Cornell University)|Mar 3, 2017

Stochastic Gradient Optimization Techniques参考文献 43被引用数 4

ひとこと要約

WHIMP は、楔抽出（wedge sampling）と SimHash を組み合わせることで、大規模なネットワークにおける高コサイン類似度を持つベクトルペアを効率的に特定する分散アルゴリズムであり、低閾値（例：τ=0.2）でもスケーラブルな類似度検索を可能にしている。通信コストはほぼ最適に近づき、数十亿本のエッジを持つグラフ、例えば完全な Twitter ネットワーク上でも類似ユーザペアを正確に同定する。

ABSTRACT

Finding similar user pairs is a fundamental task in social networks, with numerous applications in ranking and personalization tasks such as link prediction and tie strength detection. A common manifestation of user similarity is based upon network structure: each user is represented by a vector that represents the user's network connections, where pairwise cosine similarity among these vectors defines user similarity. The predominant task for user similarity applications is to discover all similar pairs that have a pairwise cosine similarity value larger than a given threshold $τ$. In contrast to previous work where $τ$ is assumed to be quite close to 1, we focus on recommendation applications where $τ$ is small, but still meaningful. The all pairs cosine similarity problem is computationally challenging on networks with billions of edges, and especially so for settings with small $τ$. To the best of our knowledge, there is no practical solution for computing all user pairs with, say $τ= 0.2$ on large social networks, even using the power of distributed algorithms. Our work directly addresses this challenge by introducing a new algorithm --- WHIMP --- that solves this problem efficiently in the MapReduce model. The key insight in WHIMP is to combine the "wedge-sampling" approach of Cohen-Lewis for approximate matrix multiplication with the SimHash random projection techniques of Charikar. We provide a theoretical analysis of WHIMP, proving that it has near optimal communication costs while maintaining computation cost comparable with the state of the art. We also empirically demonstrate WHIMP's scalability by computing all highly similar pairs on four massive data sets, and show that it accurately finds high similarity pairs. In particular, we note that WHIMP successfully processes the entire Twitter network, which has tens of billions of edges.

研究の動機と目的

• 低類似度閾値（例：τ=0.2）でも意味のある類似度を求める必要がある大規模なソーシャルネットワークにおける全ペアコサイン類似度計算のスケーラビリティ課題に対処すること。
• ヒューリスティクスや高メモリ使用量に依存せずに、すべての類似ユーザペアを効率的に発見できる実用的な分散アルゴリズムを設計すること。
• MapReduce モデルにおける通信および計算コストを低減しつつ、類似度検出の高精度と高再現率を維持すること。
• 実世界のネットワーク（例：完全な Twitter グラフ）において、数十億本のエッジを持つ状況でもスケーラブルな類似度検索を可能にすること。

提案手法

• Cohen-Lewis の楔抽出と Charikar の SimHash を組み合わせ、高類似度ベクトルペアの推定を効率的に行う。
• 各ベクトルに対してシングルの SimHash スケッチを用いることで、複数ラウンドの抽出を減らし、計算コストを低減する。
• 二段階プロセスを採用：第一段階で楔抽出により候補ペアを生成し、第二段階で SimHash が類似度の高いマッチングをフィルタリング・検証する。
• 濃度の確保と精度・再現率 > 0.8 を達成するため、楔サンプル数を s = 50/τ に設定する。
• 各楔サンプルが一度だけ処理され、かつ SimHash 条件を満たす場合にのみ出力されることを活用し、重複計算を最小限に抑える。
• シャッフルコストを二段階に均等に分配することで、オリジナルの楔抽出法と比較して、特に低 τ において総合的な通信コストを顕著に削減する。

実験結果

リサーチクエスチョン

• RQ1 大規模ネットワークにおいて、低 τ（例：0.2）の条件下で、すべてのベクトルペアのコサイン類似度 ≥ τ を効率的に計算できる分散アルゴリズムは存在するか？
• RQ2 楔抽出と SimHash をどのように組み合わせることで、類似度検索における通信および計算コストを低減できるか？
• RQ3 提案手法の理論的通信コストは何か？ また、既存手法と比較してどのように異なるか？
• RQ4 このアルゴリズムは、完全な Twitter グラフを含む、数十億本のエッジを持つ実世界のネットワークにスケーリング可能か？
• RQ5 実際の応用において、特に低類似度閾値での精度（精度・再現率）はどの程度の水準にあるか？

主な発見

• WHIMP は、数十億本のエッジを含む完全な Twitter ネットワークを処理でき、大規模スケーリングの有効性を実証した。
• τ = 0.2 の場合、s = 50/τ の楔サンプル数で精度と再現率が 0.8 を上回ることを確認し、低類似度閾値でも堅牢性を示した。
• シャッフルコストは約 160 × ||A^T A||_1 / τ にまで低減され、特に低 τ において、オリジナルの楔抽出法と比較して顕著に低い。
• 実験的結果から、WHIMP は大多数のユーザに対して、0.2 類似度ペアの 70% 以上を信頼性高く同定している。
• Twitter における事例研究では、同様のユーザ（国際会議アカウント、研究者、著名人など）が解釈可能で意味のある形で抽出された。
• τ=0.2 における LSH アプローチのストレージ要件は、10億ユーザで 26,000 TB に達すると推定され、現実的ではない。これにより、WHIMP の実用的利点が顕著に浮き彫りになった。