[論文レビュー] Scalable Discrete Sampling as a Multi-Armed Bandit Problem

Yutian Chen, Zoubin Ghahramani|arXiv (Cornell University)|Jun 30, 2015

Machine Learning and Algorithms被引用数 3

ひとこと要約

本稿では、有限の報酬集団を伴うマルチアームバンディット（MAB）として問題を定式化し、Gumbel-Maxのトリックを用いてスケーラブルな離散的サンプリングを実現する新規アプローチを提案する。著者らは、理論的保証を備えた3つのアルゴリズム—Racing-Normal、適応的lil’UCB、Racing-Threshold—を導入し、近似誤差に理論的保証を設け、実世界のタスクにおいて誤差をほとんど無視できる範囲で正確なサンプリングに比べて最大3倍の高速化を達成する。

ABSTRACT

Drawing a sample from a discrete distribution is one of the building components for Monte Carlo methods. Like other sampling algorithms, discrete sampling suffers from the high computational burden in large-scale inference problems. We study the problem of sampling a discrete random variable with a high degree of dependency that is typical in large-scale Bayesian inference and graphical models, and propose an efficient approximate solution with a subsampling approach. We make a novel connection between the discrete sampling and Multi-Armed Bandits problems with a finite reward population and provide three algorithms with theoretical guarantees. Empirical evaluations show the robustness and efficiency of the approximate algorithms in both synthetic and real-world large-scale problems.

研究の動機と目的

• 多数のデータポイントや潜在関数において高い統計的依存性を示す変数における離散的サンプリングの計算ボトルネックを解消すること。
• 寄与要因の数$N$が大きい大規模なグラフィカルモデルやベイジアン推論において、正確なサンプリングの高い計算コストを克服すること。
• 特に$N$が大きい状況において、サブサンプリングを用いて低バイアスを維持しつつ、顕著な高速化を達成する近似サンプリングフレームワークの開発。
• 離散的サンプリングと有限報酬集団を伴うマルチアームバンディットの間の理論的接続を確立し、新たなアルゴリズム設計原理を可能にすること。
• 既存のサブサンプリングに基づくMCMC手法（例：近似メトロポリス・ハスティングス法やスライスサンプリング）を一般化・改善する統一的フレームワークの提供。

提案手法

• Gumbel-Maxのトリックを用いて、分布$p(X=x) \propto \tilde{p}(X=x) = f_0(x) \prod_{n=1}^N f_n(x)$からの離散的サンプリングを、マルチアームバンディット（MAB）問題に再定式化する。
• 各可能な値$x \in \mathcal{X}$を、期待報酬が$\log \tilde{p}(x)$に相当する有限アームMABのアームとしてモデル化する。
• サブサンプルによる$\tilde{p}(x)$の推定値を用い、最適アーム（値）である確率が高く、順次アーム（値）をサンプリング・比較するためのRacingアルゴリズムを適用する。
• 独立同一分布に従う確率変数の和の正規近似を用いることで収束を加速し、サンプル複雑性を低減するRacing-Normalという変種を導入する。
• 探索と活用のバランスを理論的境界を伴って保つために、適応的lil’UCBおよびRacing-Thresholdという代替戦略を設計する。
• 近似誤差およびサンプル複雑性に理論的保証を設け、必要な評価回数の上界が$N|\mathcal{X}|$であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 高依存性を持つモデルにおける離散的サンプリングは、マルチアームバンディットフレームワークを用いて効率的に近似可能か？
• RQ2 サブサンプリングを用いることで、バイアスを低く保ちつつ、離散的サンプリングの計算コストを削減できるか？ また、強力な理論的保証をどのように達成できるか？
• RQ3 近似離散的サンプリングにおける速度と正確性のトレードオフは何か？ そして、最適化はどのように可能か？
• RQ4 MABフレームワークは、有限報酬集団に適応させることで、大規模推論におけるサンプリング効率を向上させられるか？
• RQ5 提案されたアルゴリズムは、実世界のベイジアン推論タスクにおいて、正確なサンプリングおよび既存の近似MCMC手法と比較して、どのように性能を発揮するか？

主な発見

• Racing-Normalアルゴリズムは、著者らのコアコアレファレンス問題において、正確なギブスサンプリングに比べて最大3倍の高速化を達成し、クラスタリング性能に顕著なバイアスは認められなかった。
• サブギブスサンプリングは、正確なギブスサンプリングと比較して、収束付近で要因評価回数を約5倍削減したが、F-1スコアは類似の水準を維持した。
• 合成実験では、バーンイン後、Racing-NormalアルゴリズムはベースラインのSubアルゴリズムに比べて2倍の有効サンプルサイズを達成し、相対誤差は$2 \times 10^{-3}$であった。
• コアコアレファレンスタスクにおける実験的誤差率は$0.046$であり、目標値$\delta = 0.05$を下回っており、近似誤差の強い制御が実現されたことを示している。
• Racingアルゴリズムフレームワークは、近似メトロポリス・ハスティングス法やスライスサンプリングを含む、サブサンプリングに基づくMCMC手法を統一的に扱い、より高いロバスト性を実現した。
• 適応的lil’UCBは、アーム数$D$に関してより優れたサンプル複雑性のスケーリングを示したが、実際の性能ではRacing-Normalに劣っていた。