[論文レビュー] Integrating Multi-Armed Bandit, Active Learning, and Distributed Computing for Scalable Optimization

Foo Hui-Mean, Yuan‐chin Ivan Chang|arXiv (Cornell University)|Jan 2, 2026

Advanced Bandit Algorithms Research被引用数 0

ひとこと要約

ALMAB-DC は、活性学習、マルチアームバンディット、分散計算を統合し、GPU 加速で不確実性を考慮したブラックボックス最適化をスケーラブルに実現するモジュール型フレームワーク。

ABSTRACT

Modern optimization problems in scientific and engineering domains often rely on expensive black-box evaluations, such as those arising in physical simulations or deep learning pipelines, where gradient information is unavailable or unreliable. In these settings, conventional optimization methods quickly become impractical due to prohibitive computational costs and poor scalability. We propose ALMAB-DC, a unified and modular framework for scalable black-box optimization that integrates active learning, multi-armed bandits, and distributed computing, with optional GPU acceleration. The framework leverages surrogate modeling and information-theoretic acquisition functions to guide informative sample selection, while bandit-based controllers dynamically allocate computational resources across candidate evaluations in a statistically principled manner. These decisions are executed asynchronously within a distributed multi-agent system, enabling high-throughput parallel evaluation. We establish theoretical regret bounds for both UCB-based and Thompson-sampling-based variants and develop a scalability analysis grounded in Amdahl's and Gustafson's laws. Empirical results across synthetic benchmarks, reinforcement learning tasks, and scientific simulation problems demonstrate that ALMAB-DC consistently outperforms state-of-the-art black-box optimizers. By design, ALMAB-DC is modular, uncertainty-aware, and extensible, making it particularly well suited for high-dimensional, resource-intensive optimization challenges.

研究の動機と目的

• unreliable gradients を伴う高次元設定での高価なブラックボックス評価の課題に対処する。
• 活性学習、MAB、分散計算を統合した統一的でモジュール化されたフレームワークを開発し、スケーラブルな最適化を実現する。
• surrogate modeling と情報理論的取得関数を活用して、予算制約下で有益なサンプリングを導く。
• 非同期の GPU 加速評価を分散エージェント間で実現し、スループットを向上させる。
• 理論的 regret 境界とスケーラビリティ解析を提供し、分散・不確実性を考慮した最適化を支援する。

提案手法

• 最適化を、不確実性の下でベイズ代替物関数に基づく逐次意思決定プロセスとして扱う。
• 次に情報量が多い入力を選択する取得関数（エントロピー、期待改善、相互情報など）を使用する。
• 分布間の計算資源を割り当てるために、UCB、トムソン采択などのバンディットベースのコントローラを組み込む。
• surrogate モデリングと評価のための GPU 加速を含む、計算ノード間での非同期評価を分散化する。
• 将来のクエリを洗練させるために、 surrogate モデルとバンディット統計を反復的に更新する。
• 分散・非同期設定の理論的 regret 境界とスケーラビリティ解析を提供する。

Figure 1: ALMAB-DC Framework: Integration of Active Learning, Multi-Armed Bandits, and Distributed Computing through Bayesian Surrogate Modeling

実験結果

リサーチクエスチョン

• RQ1 活性学習とバンディット戦略を統合して、分散環境でスケーラブルかつ情報効率の高いブラックボックス最適化を実現するにはどうすればよいか。
• RQ2 非同期フィードバックと通信オーバーヘッドの下での ALMAB-DC の理論的 regret およびスケーラビリティ特性は何か。
• RQ3 GPU 加速・分散評価は高コスト最適化タスクのスループットと収束にどのような影響を与えるか。
• RQ4 可搬性のあるパフォーマンスを得るためのエージェント数と協調コストの最適なバランスは何か。
• RQ5 ALMAB-DC はマルチフィデリティおよび異種コンピューティング環境に適応しつつ、不確実性量子化を維持できるか。

主な発見

• ALMAB-DC は、AL、MAB、DC をモジュール型パイプラインで統合することにより、スケーラビリティとサンプル効率を向上させる。
• フレームワークは、分散・非同期設定での UCB ベースおよび Thompson Sampling ベースの変種の regret 境界を提供する。
• Amdahl の法則と Gard Gustafson の法則に基づくスケーラビリティ解析が資源割り当てを導き、スピードアップと限界を予測する。
• surrogate モデリング、事後更新、取得最適化のための GPU 加速を活用してスループットを向上させる。
• 合成ベンチマーク、強化学習タスク、科学シミュレーションにまたがる経験的結果は、最先端のブラックボックス最適化手法と競合する性能を示す。

Figure 2: ALMAB-DC Architecture Pipeline: The framework integrates Active Learning (AL), Multi-Armed Bandits (MAB), and Distributed Computing (DC) into a modular pipeline. Decision modules (top) include the Unlabeled Data Pool, Active Learner, and Bandit Controller, which guide candidate selection a