[論文レビュー] Adaptive Combinatorial Experimental Design: Pareto Optimality for Decision-Making and Inference

Hongrui Xie, Junyu Cao+1 more|arXiv (Cornell University)|Feb 27, 2026

Advanced Bandit Algorithms Research被引用数 0

ひとこと要約

この論文は適応的組合せバンド（CMAB）のパレート最適学習を提案し、MixCombKL（全帯域バンド）とMixCombUCB（半帯域バンド）を構築、2つのフィードバック regime の下で有限時間の後悔とギャップ推定保証を証明する。

ABSTRACT

In this paper, we provide the first investigation into adaptive combinatorial experimental design, focusing on the trade-off between regret minimization and statistical power in combinatorial multi-armed bandits (CMAB). While minimizing regret requires repeated exploitation of high-reward arms, accurate inference on reward gaps requires sufficient exploration of suboptimal actions. We formalize this trade-off through the concept of Pareto optimality and establish equivalent conditions for Pareto-efficient learning in CMAB. We consider two relevant cases under different information structures, i.e., full-bandit feedback and semi-bandit feedback, and propose two algorithms MixCombKL and MixCombUCB respectively for these two cases. We provide theoretical guarantees showing that both algorithms are Pareto optimal, achieving finite-time guarantees on both regret and estimation error of arm gaps. Our results further reveal that richer feedback significantly tightens the attainable Pareto frontier, with the primary gains arising from improved estimation accuracy under our proposed methods. Taken together, these findings establish a principled framework for adaptive combinatorial experimentation in multi-objective decision-making.

研究の動機と目的

• CMAB における後悔と推定のトレードオフを研究動機として位置づける。
• 後悔と報酬ギャップ推定のバランスを Pareto 最適性として形式化する。
• 2つのフィードバックモデル（全帯域バンドと半帯域バンド）に対する Pareto 最適アルゴリズムを開発する。
• 各フィードバック regime の下で後悔と推定誤差の有限時間保証を提供する。

提案手法

• 全帯域および半帯域フィードバックの下で base arm と super arm を持つ CMAB をモデル化する。
• 後悔と推定誤差のトレードオフを捉えるために Pareto 最適性と Pareto フロンティアを定義する。
• 全帯域フィードバックに対して KL 発散に基づくオンライン確率的ミラー降下を simplex 埋め込みで用いた MixCombKL を開発する。
• 半帯域フィードバックに対して初期化フェーズと最適化オラクルを備えた UCB ベースの MixCombUCB を開発する。
• 超 Arm ギャップと基本 Arm ギャップの推定誤差の有限サンプル境界と、2つのアルゴリズムの後悔境界を提供する。
• Pareto 最適性の必要十分条件を確立し、フィードバックの豊かさがフロンティアの tightness にどう relate するかを示す。

実験結果

リサーチクエスチョン

• RQ1 CMAB における後悔最小化と報酬ギャップ推定の統計的パワーのトレードオフはどうなるか？
• RQ2 異なるフィードバック regime において CMAB で Pareto 最適ポリシーを特徴付け、達成できるか？
• RQ3 全帯域と半帯域フィードバックは Pareto フロンティアと学習保証にどう影響するか？
• RQ4 MixCombKL と MixCombUCB の有限時間推定と後悔保証は何か？
• RQ5 CMAB 設定における Pareto 最適性の必要十分条件は何か？

主な発見

• MixCombKL は全帯域フィードバック下で Pareto 最適なトレードオフを達成し、有限時間のギャップ推定保証と後悔境界を満たす。
• MixCombUCB は半帯域フィードバック下で Pareto 最適なトレードオフを達成し、有限時間のギャップ推定保証と後悔境界を満たす。
• 半帯域フィードバックは推定精度の向上により Pareto フロンティアを全帯域より鋭くするが、提案アルゴリズム下での後悔は同様にスケールする。
• 論文は超 Arm ギャップ推定と基本 Arm ギャップ推定の有限サンプル境界と後悔境界を明示的に提供する。
• Pareto 最適性は推定誤差と後悔を結ぶ条件によって特徴づけられ、両方のフィードバックモデルに適用可能である。