[論文レビュー] Bandit Online Learning with Unknown Delays

Bingcong Li, Tianyi Chen+1 more|arXiv (Cornell University)|Jul 9, 2018

Advanced Bandit Algorithms Research参考文献 32被引用数 11

ひとこと要約

本稿では、未知の敵対的遅延が存在するマルチアームバンディット（MAB）およびバンディット凸最適化（BCO）設定におけるバンドイットオンライン学習の文脈で、DEXP3およびDBGDアルゴリズムを提案する。遅延フィードバックに対処するため、新たなバイアス付きで決定論的な勾配推定器を導入し、DEXP3では$\mathcal{O}(√{K\bar{d}(T+D)})$、DBGDでは$\mathcal{O}(√{K(T+D)})$のレグレットバウンドを達成した。ここで$\bar{d}$は最大遅延、$D$は$T$ラウンドにおける総遅延を表す。

ABSTRACT

This paper deals with bandit online learning problems involving feedback of unknown delay that can emerge in multi-armed bandit (MAB) and bandit convex optimization (BCO) settings. MAB and BCO require only values of the objective function involved that become available through feedback, and are used to estimate the gradient appearing in the corresponding iterative algorithms. Since the challenging case of feedback with \emph{unknown} delays prevents one from constructing the sought gradient estimates, existing MAB and BCO algorithms become intractable. For such challenging setups, delayed exploration, exploitation, and exponential (DEXP3) iterations, along with delayed bandit gradient descent (DBGD) iterations are developed for MAB and BCO, respectively. Leveraging a unified analysis framework, it is established that the regret of DEXP3 and DBGD are ${\cal O}\big( \sqrt{K\bar{d}(T+D)} \big)$ and ${\cal O}\big( \sqrt{K(T+D)} \big)$, respectively, where $\bar{d}$ is the maximum delay and $D$ denotes the delay accumulated over $T$ slots. Numerical tests using both synthetic and real data validate the performance of DEXP3 and DBGD.

研究の動機と目的

• 非確率的マルチアームバンディット（MAB）およびバンディット凸最適化（BCO）設定において、遅延が未知であり敵対的に選ばれる状況での遅延フィードバックの課題に対処すること。
• 標準の不偏推定器が遅延フィードバックの状況では適用できないのを克服するため、未知の遅延を考慮した頑健な勾配推定器を開発すること。
• 未知の遅延下でのMABおよびBCOにおける両者を統一的に取り扱う理論的フレームワークを構築し、レグレットバウンドを確立すること。
• 合成データおよび実世界のデータを用いた数値実験を通じて、提案手法の性能を検証すること。

提案手法

• 未知の遅延に対処するため、MABにおける細分化されたバイアス付き勾配推定器を導入し、遅延フィードバックが存在しても信頼性の高い勾配推定を可能にする。
• 未知の遅延下でも推定精度を維持するBCO用の決定論的勾配推定器を設計し、標準的なほぼ不偏推定器に代わる。
• 遅延フィードバックを伴う非確率的MABのためのDEXP3アルゴリズムを提案し、重み付きの探索と活用を遅延フィードバックを考慮して行う。
• 遅延BCOのためのDBGDアルゴリズムを提案し、遅延勾配推定値を用いた修正された勾配降下法を適用する。
• 滑らかさおよびリプシッツ連続性の仮定を活用して、両設定におけるレグレットバウンドを統一的に理論的に導出するフレームワークを採用する。
• 時間スロットごとの累積効果と勾配推定誤差を分析することで、遅延の蓄積を用いたレグレットバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 フィードバックが遅延しており、その遅延が未知かつ敵対的に選ばれる状況下でも、バンディットオンライン学習アルゴリズムが低レグレットを維持できるか。
• RQ2 MABおよびBCO設定において、遅延が事前に分かっていない状況で、信頼性の高い勾配推定をどのように構築できるか。
• RQ3 遅延、時間枠、レグレットの間の根本的トレードオフは何か。
• RQ4 未知の遅延下でのMABおよびBCOを統一的に分析できる理論的フレームワークを構築できるか。
• RQ5 DEXP3およびDBGDアルゴリズムは、遅延下でのレグレットと頑健性の観点から、既存手法と比較してどのように優れているか。

主な発見

• DEXP3アルゴリズムは、$\mathcal{O}(√{K\bar{d}(T+D)})$のレグレットバウンドを達成し、ここで$\bar{d}$は最大遅延、$D$は$T$ラウンドにおける総遅延を表す。
• DBGDアルゴリズムは、最大遅延$\bar{d}$に依存しない$\mathcal{O}(√{K(T+D)})$のレグレットバウンドを達成しており、BCOにおけるより高い頑健性を示している。
• DEXP3における提案されたバイアス付き勾配推定器は、未知の遅延を効果的に処理し、遅延フィードバックが存在しても安定した学習を可能にする。
• DBGDにおける決定論的勾配推定器は、BCOにおける未知かつ敵対的な遅延下でも正確な勾配近似を保証する。
• 合成データおよび実データを用いた数値実験により、DEXP3およびDBGDが遅延フィードバック環境下でベースライン手法を上回ることを確認した。
• 統一された解析フレームワークは、遅延の蓄積と最大遅延がレグレットに与える影響を的確に捉え、一般化可能な理論的基盤を提供した。