[논문 리뷰] Integrating Multi-Armed Bandit, Active Learning, and Distributed Computing for Scalable Optimization

Foo Hui-Mean, Yuan‐chin Ivan Chang|arXiv (Cornell University)|2026. 01. 02.

Advanced Bandit Algorithms Research인용 수 0

한 줄 요약

ALMAB-DC는 활성 학습, 다중 팔 밴딧, 분산 컴퓨팅을 통합하여 GPU 가속을 통한 확장 가능하고 불확실성을 고려한 블랙박스 최적화를 가능하게 하는 모듈형 프레임워크입니다.

ABSTRACT

Modern optimization problems in scientific and engineering domains often rely on expensive black-box evaluations, such as those arising in physical simulations or deep learning pipelines, where gradient information is unavailable or unreliable. In these settings, conventional optimization methods quickly become impractical due to prohibitive computational costs and poor scalability. We propose ALMAB-DC, a unified and modular framework for scalable black-box optimization that integrates active learning, multi-armed bandits, and distributed computing, with optional GPU acceleration. The framework leverages surrogate modeling and information-theoretic acquisition functions to guide informative sample selection, while bandit-based controllers dynamically allocate computational resources across candidate evaluations in a statistically principled manner. These decisions are executed asynchronously within a distributed multi-agent system, enabling high-throughput parallel evaluation. We establish theoretical regret bounds for both UCB-based and Thompson-sampling-based variants and develop a scalability analysis grounded in Amdahl's and Gustafson's laws. Empirical results across synthetic benchmarks, reinforcement learning tasks, and scientific simulation problems demonstrate that ALMAB-DC consistently outperforms state-of-the-art black-box optimizers. By design, ALMAB-DC is modular, uncertainty-aware, and extensible, making it particularly well suited for high-dimensional, resource-intensive optimization challenges.

연구 동기 및 목표

• 신뢰할 수 있는 기울기가 없는 고차원 설정에서 비용이 큰 블랙박스 평가의 문제를 해결한다.
• 확장 가능한 최적화를 위한 활성 학습, MAB, 분산 컴퓨팅을 결합한 통합적이고 모듈식 프레임워크를 개발한다.
• 제약 예산 하에서 정보 샘플링을 이끄는 대리모델링과 정보 이론적 획득을 활용한다.
• 분산 에이전트에 걸친 비동기식의 GPU 가속 평가를 가능하게 하여 처리량을 향상시킨다.
• 분산되고 불확실성 인지 최적화를 지원하기 위한 이론적 후회 경계와 확장성 분석을 제공한다.

제안 방법

• 최적화를 베이지안 대리모델에 의해 안내되는 불확실성 하의 순차 의사결정 과정으로 다룬다.
• 다음의 정보가 풍부한 입력을 선택하기 위해 획득 함수(예: 엔트로피, 기대 개선, 상호 정보)를 사용한다.
• 후보 평가에 걸쳐 계산 자원을 분배하기 위해 밴딧 기반 컨트롤러(UCB, Thompson Sampling)를 도입한다.
• 대체로 GPU 가속을 위한 선택적 대리모델링 및 평가를 포함하여 계산 노드 간 평가를 비동기적으로 분산한다.
• 미래 쿼리를 개선하기 위해 대리모델과 밴딧 통계를 반복적으로 업데이트한다.
• 분산되고 비동기적인 설정에 대한 이론적 후회 경계와 확장성 분석을 제공한다.

Figure 1: ALMAB-DC Framework: Integration of Active Learning, Multi-Armed Bandits, and Distributed Computing through Bayesian Surrogate Modeling

실험 결과

연구 질문

• RQ1 활성 학습과 밴딧 전략을 어떻게 통합하여 분산 환경에서 확장 가능하고 정보 효율적인 블랙박스 최적화를 가능하게 할 수 있는가?
• RQ2 비동기 피드백과 통신 오버헤드 하에서 ALMAB-DC의 이론적 후회 및 확장성 특성은 무엇인가?
• RQ3 GPU 가속 분산 평가가 고비용 최적화 과제의 처리량과 수렴에 어떤 영향을 미치는가?
• RQ4 확장 가능한 성능을 위한 에이전트 수와 조정 비용 사이의 최적 균형은 무엇인가?
• RQ5 ALMAB-DC가 불확실성 정량화를 유지하면서 다중 충실도 및 이질적 컴퓨팅 설정에 적응할 수 있는가?

주요 결과

• ALMAB-DC는 모듈형 파이프라인에서 AL, MAB, DC를 통합하여 향상된 확장성과 샘플 효율성을 달성한다.
• 이 프레임워크는 분산 비동기 설정에서 UCB- 및 Thompson Sampling 기반 변형에 대한 후회 경계를 제공한다.
• Amdahl의 법칙과 Gustafson의 법칙에 기반한 확장성 분석은 자원 할당을 안내하고 속도 향상과 한계를 예측한다.
• GPU 가속은 대리모델링, 사후 업데이트 및 획득 최적화를 위해 활용되어 처리량을 높인다.
• 합성 벤치마크, 강화학습 과제, 과학 시뮬레이션 전반에 걸친 실험적 결과는 최첨단 블랙박스 최적화기 대비 경쟁력 있는 성능을 보여준다.

Figure 2: ALMAB-DC Architecture Pipeline: The framework integrates Active Learning (AL), Multi-Armed Bandits (MAB), and Distributed Computing (DC) into a modular pipeline. Decision modules (top) include the Unlabeled Data Pool, Active Learner, and Bandit Controller, which guide candidate selection a