[論文レビュー] Scalable Nearest Neighbor Search for Optimal Transport

Artūrs Bačkurs, Yihe Dong+3 more|arXiv (Cornell University)|Oct 9, 2019

Advanced Image and Video Retrieval Techniques参考文献 34被引用数 10

ひとこと要約

この論文は、木構造の埋め込みとフローに基づく推定を活用して類似度検索を高速化する、Wasserstein-1 (W1) 距離におけるスケーラブルな近似最近傍探索のための新規アルゴリズムFlowtreeを紹介する。実世界のデータセットにおいて、最先端の手法と比較して最大7.4倍の高速化を達成しながらも、高い正確性を維持している。

ABSTRACT

The Optimal Transport (a.k.a. Wasserstein) distance is an increasingly popular similarity measure for rich data domains, such as images or text documents. This raises the necessity for fast nearest neighbor search algorithms according to this distance, which poses a substantial computational bottleneck on massive datasets. In this work we introduce Flowtree, a fast and accurate approximation algorithm for the Wasserstein-$1$ distance. We formally analyze its approximation factor and running time. We perform extensive experimental evaluation of nearest neighbor search algorithms in the $W_1$ distance on real-world dataset. Our results show that compared to previous state of the art, Flowtree achieves up to $7.4$ times faster running time.

研究の動機と目的

• 大規模データセットにおけるWasserstein-1距離における正確最近傍検索の計算ボトルネックを解消すること。
• k-NN分類パイプラインに適した、高速で正確かつスケーラブルなW1距離計算の近似アルゴリズムを設計すること。
• W1が標準的なユークリッド幾何学と互換性がないこと、および高次元における正確なフローコンピューティングの非効率性を克服すること。
• テキストや画像類似度の分野を含む実世界の応用において、Flowtreeの性能を既存の近似手法と評価・比較すること。
• Flowtreeを複数の推定器（例：Quadtree、R-WMD、Sinkhorn）と組み合わせたエンドツーエンドパイプラインを最適化し、速度-正確性のトレードオフを改善すること。

提案手法

• Flowtreeは、メトリック空間（R^d）を階層的な木構造に分解することで、効率的なフロー推定を可能にする。
• 下位から上位への木走査を用いて、近似的な最適輸送計画を計算し、W1計算の複雑さを低減する。
• 木埋め込みメトリクス上のフロー問題を解くことでW1距離を推定し、線形時間で計算可能である。
• Flowtreeは、複数段階のパイプラインに統合され、既存の推定器（例：R-WMD や Sinkhorn）のフィルターや代替手段として使用される。
• 近似要因および実行時間について形式的な解析が行われ、正確性と効率性に関する理論的保証が得られている。
• バリデーションセットを用いてパイプラインをチューニングし、各段階における候補の刈り取り閾値（c_i）を最適化することで、実行時間を最小限に抑えながら目標リコールを達成する。

実験結果

リサーチクエスチョン

• RQ1 木ベースのフローアプロックスメソッドは、W1最近傍検索において、高い正確性と顕著な高速化を両立できるか？
• RQ2 R-WMD、Mean、Sinkhornといった既存の推定器と比較して、Flowtreeの実行時間およびリコール性能はどのように異なるか？
• RQ3 Flowtreeをフィルターや代替手段として複数段階のW1検索パイプラインに統合する際の最適なパイプライン構成は何か？
• RQ4 Flowtreeは、k-NNパイプラインにおける正確なW1計算の計算ボトルネックをどの程度軽減できるか？
• RQ5 Flowtreeの木埋め込みアプローチは、語彙埋め込みのような高次元データの幾何的構造を保持できるか？

主な発見

• 20newsデータセットにおいて、リコール@5 ≥ 0.9 の条件下で、Flowtreeは最良のベースラインパイプライン比で中央値実行時間を最大7.4倍短縮した。
• リコール@1 ≥ 0.9 の条件下では、Flowtreeは最良のベースラインパイプライン比で実行時間を3.7倍短縮した。
• パイプラインの2段階目として置き換える場合、リコール@5の実験でFlowtreeは実行時間を7.4倍から8倍に短縮した。
• Flowtree統合パイプラインにおける主な性能ボトルネックは正確なW1計算に移行しており、Flowtreeが大部分のコストを効果的に移管していることが示された。
• Flowtreeを中間フィルタとして使用するパイプラインは、下流の推定器に応じて1.64倍から6.75倍の高速化を達成した。
• Sinkhorn-3はSinkhorn-1よりも遅いが、Quadtreeから渡される候補数をより少なくできるため、Flowtreeと組み合わせると全体の実行時間が速くなった。