[論文レビュー] Bandits with Delayed, Aggregated Anonymous Feedback

Ciara Pike-Burke, Shipra Agrawal+2 more|arXiv (Cornell University)|Sep 20, 2017

Advanced Bandit Algorithms Research被引用数 59

ひとこと要約

この論文は遅延・集約・匿名のフィードバックを持つK-アームバンディット（MABDAAF）を研究し、期待遅延の知識がある場合、遅延なしの場合と定数因子まで一致する後悔を示す。彼らはまた、境界付きまたは既知の分散遅延の下でほぼ最適な後悔を持つアルゴリズム（ODA AF）を提供する。

ABSTRACT

We study a variant of the stochastic $K$-armed bandit problem, which we call "bandits with delayed, aggregated anonymous feedback". In this problem, when the player pulls an arm, a reward is generated, however it is not immediately observed. Instead, at the end of each round the player observes only the sum of a number of previously generated rewards which happen to arrive in the given round. The rewards are stochastically delayed and due to the aggregated nature of the observations, the information of which arm led to a particular reward is lost. The question is what is the cost of the information loss due to this delayed, aggregated anonymous feedback? Previous works have studied bandits with stochastic, non-anonymous delays and found that the regret increases only by an additive factor relating to the expected delay. In this paper, we show that this additive regret increase can be maintained in the harder delayed, aggregated anonymous feedback setting when the expected delay (or a bound on it) is known. We provide an algorithm that matches the worst case regret of the non-anonymous problem exactly when the delays are bounded, and up to logarithmic factors or an additive variance term for unbounded delays.

研究の動機と目的

• 遅延・集約・匿名のフィードバックを伴うバンディット問題（MABDAAF）を動機づけて形式化する。
• 集約され匿名の遅延報酬に対処するアルゴリズムを開発する。
• 異なる遅延仮定（既知の平均、制限付きサポート、制限付き分散）の下で後悔境界を導出する。
• 匿名性の代償／遅延の付加が、特定の知識仮定の下で無視できることを示す。
• 提案手法の実用的な洞察と実験的検証を提供する。

提案手法

• 遅延の起源が未知のまま過去の報酬の和としてエンドオブラウンドで到着する報酬としてMABDAAFを定義する。
• 遅延・集約フィードバックを伴う探索を管理するために、Improved UCB 1 1 1に触発された位相ベースの希少な切替アルゴリズム（ODA AF）を提案する。
• Freedmanの不等式とDoobの最適スキップ定理を用いて遅延を考慮した信頼区間を構築する。
• 位相間および将来の観測との依存を減らすためにブリッジ期間を組み込む。
• 3つの遅延設定（既知の有界平均遅延、既知の上限を伴う有界遅延、既知の分散を伴う遅延）で後悔保証を導出する。
• 位相長を設定して所望の集中化を達成する方法を分析し、推定誤差を評価する。

実験結果

リサーチクエスチョン

• RQ1 集約的な匿名遅延フィードバックにもかかわらず、標準的なMABに近い後悔を達成できるか？
• RQ2 既知の遅延情報（平均、上限、または分散）がMABDAAF下で到達可能な後悔にどのように影響するか？
• RQ3 有界・無界（分散付き）遅延での後悔境界はどのようになり、非遅延設定と比較してどうか？
• RQ4 未知の起源を伴う集約形での報酬到着時に、信頼区間をどのように構築するか？
• RQ5 ブリッジ期間は位相間の依存と遅延観測を緩和するのに役立つか？

主な発見

• アルゴリズムは既知の期待遅延の下で後悔を O(√(KT log K) + K E[τ] log T) と達成する。
• 有界遅延 d と既知の界がある場合、後悔は O(√(KT log K) + K E[τ]) に改善され、小さな d の場合は以前の研究と一致する。
• 遅延が無限大になる場合でも分散が既知であると、問題独立の後悔は O(√(KT log K) + K E[τ] + K Var(τ)) にスケールする。
• 遅延が既知の界を持ち、d ≤ √(T log K / K) + E[τ] の場合、後悔はJoulani et al. (2013) のレートに一致する。
• 解析は依存性と分散を扱うためにFreedmanの不等式、Doobの最適スキップ定理、Azuma-Hoeffding不等式を組み合わせている。
• 実験では提案されたODAAF派生が遅延シナリオに対してQPM-Dに対する後悔比率を定数に収束させることを示した。