[論文レビュー] Medoids in almost linear time via multi-armed bandits

Vivek Bagaria, Govinda M. Kamath+3 more|arXiv (Cornell University)|Nov 2, 2017

Single-cell and spatial transcriptomics参考文献 13被引用数 9

ひとこと要約

本稿では、多様体距離の推定にマルチアームバンディットフレームワークを用いることで、高次元データセットにおける正確なメドイドを O(n log n) の距離評価回数で計算する新しいアルゴリズム Med-dit を提案する。各点をアームとみなして信頼区間に基づき適応的に距離をサンプリングすることで、RAND や TOPRANK といった最先端手法に比べ最大 10 倍の高速化を達成した。距離の対称性や三角不等式の要件を一切必要としない。

ABSTRACT

Computing the medoid of a large number of points in high-dimensional space is an increasingly common operation in many data science problems. We present an algorithm Med-dit which uses O(n log n) distance evaluations to compute the medoid with high probability. Med-dit is based on a connection with the multi-armed bandit problem. We evaluate the performance of Med-dit empirically on the Netflix-prize and the single-cell RNA-Seq datasets, containing hundreds of thousands of points living in tens of thousands of dimensions, and observe a 5-10x improvement in performance over the current state of the art. Med-dit is available at https://github.com/bagavi/Meddit

研究の動機と目的

• 数十万点を含む高次元データセットにおける正確なメドイド計算の計算不能性を解決すること。
• ナイーブ法やサンプリングベースの手法に比べてはるかに少ない距離評価回数で、高い確率で正確なメドイドを特定する手法を開発すること。
• 非対称または三角不等式を満たさないメトリックを含む任意の距離測度に対して耐障害性を持つアルゴリズムを設計すること。
• 次元数に依存しないほぼ線形時間計算量を達成することで、遺伝子発現やレコメンデーションシステムなど高次元データにスケーラブルであるようにすること。
• trimed や TOPRANK といった既存手法の実用的で効率的な代替手段を提供すること、特にそれらが計算不能になる高次元環境下での有効性を示すこと。

提案手法

• Med-dit は、各データポイントを平均距離が未知のアームとして持つマルチアームバンディット（MAB）問題としてメドイド問題を定式化する。
• 上界と下界の信頼区間（UCB）を用いて、候補点の集合を動的に維持し、メドイドになり得ない可能性がある点を pruning する。
• 信頼区間の下限が他のすべての点の上界の最小値未満である点の距離を適応的にサンプリングすることで、効率的な探索を実現する。
• すべての点の信頼区間のうち、1点を除くすべてが真のメドイドを含まない状態に達すると停止し、高い確率で正しさを保証する。
• 理論的解析では、距離推定のサブガウス性を仮定しており、高次元における中心極限定理によって正当化される。
• 距離メトリックの性質に依存せず、対称性や三角不等式の要件を一切必要としない。

実験結果

リサーチクエスチョン

• RQ1 メドイド計算問題をマルチアームバンディット問題として再定式化することで、効率的で適応的なサンプリングが可能になるか？
• RQ2 バンディットベースのアプローチが、現実的なデータ仮定のもとで正確なメドイド計算に O(n log n) の距離評価回数を達成できるか？
• RQ3 Med-dit の性能は、trimed や TOPRANK といった既存手法と比較して次元数の増加に伴いどのようにスケーリングするか？
• RQ4 Med-dit は、単細胞 RNA-Seq などの実世界の高次元データセットにおいて、距離評価回数をどの程度削減できるか？
• RQ5 信頼水準 δ を調整することで、速度と正確性のバランスをとることができるか？その際、正しさを損なわないか？

主な発見

• Med-dit は高い確率で O(n log n) の距離評価回数で正確なメドイドを計算し、RAND の O(n log n / ε) の複雑度に比べ顕著に改善した。
• 109,140セルの単細胞 RNA-Seq データセットにおいて、Med-dit は RAND と同等の性能を達成するための距離評価回数を約 10 倍削減した。
• 高次元環境（例：784次元の MNIST）では、次元数に指数関数的に依存する問題を抱える trimed よりも Med-dit が顕著に優れた性能を示した。
• 実験的に、1,000回の試行において、1点あたり平均 80 回の距離評価で十分であり、理論的推定値の 266 回よりも顕著に少ないことが示され、実用的効率性が裏付けられた。
• アルゴリズムは 99.99% の信頼水準でメドイドを正しく特定できており、150 個の上位候補のうち 9 個については、他のすべての点との平均距離を正確に計算した。
• メドイドの平均距離の信頼区間は、他のすべての点の信頼区間よりも厳密に下にあるため、終了時に正しさが保証された。