[論文レビュー] Bandit algorithms: Letting go of logarithmic regret for statistical robustness

Kumar Ashutosh, Jayakrishnan Nair+2 more|arXiv (Cornell University)|Jun 22, 2020

Advanced Bandit Algorithms Research被引用数 4

ひとこと要約

本稿は、確率的マルチアームバンディットにおける根本的なトレードオフを確立する：対数的レジーットを達成するアルゴリズムは統計的に脆弱である一方、統計的に堅牢なアルゴリズムはわずかに超対数的レジーットを被る必要がある。著者らは、信頼区間のスケーリング関数をゆっくりと増加させることで、分布パラメータの事前知識を必要とせず、多様な分布にわたって一貫性を保つ、分布に依存しないアルゴリズムの3つのクラスを提案する。

ABSTRACT

We study regret minimization in a stochastic multi-armed bandit setting and establish a fundamental trade-off between the regret suffered under an algorithm, and its statistical robustness. Considering broad classes of underlying arms' distributions, we show that bandit learning algorithms with logarithmic regret are always inconsistent and that consistent learning algorithms always suffer a super-logarithmic regret. This result highlights the inevitable statistical fragility of all `logarithmic regret' bandit algorithms available in the literature---for instance, if a UCB algorithm designed for $\\sigma$-subGaussian distributions is used in a subGaussian setting with a mismatched variance parameter, the learning performance could be inconsistent. Next, we show a positive result: statistically robust and consistent learning performance is attainable if we allow the regret to be slightly worse than logarithmic. Specifically, we propose three classes of distribution oblivious algorithms that achieve an asymptotic regret that is arbitrarily close to logarithmic.

研究の動機と目的

• 対数的レジーットを達成するバンディットアルゴリズムの統計的堅牢性を調査すること。
• 対数的レジーットを達成するアルゴリズムが、パrameterが一致しない分布（例：σ-サブガウス型アルゴリズムをσ′-サブガウス型インスタンスに適用する場合でσ′ > σ）に適用された際に、本質的に一貫性を失うことを示すこと。
• 分布パラメータの事前知識を必要とせず、統計的に堅牢かつ漸近的に対数的レジーットに近いレジーットを達成するアルゴリズムを設計すること。
• 報酬分布に関するノイズを含む事前情報が、レジーットスケーリング関数にどのように組み込まれるかを検討し、短期的性能を向上させること。

提案手法

• 信頼区間において徐々に増加するスケーリング関数f(t)を用いる、分布に依存しないバンディットアルゴリズムの3つのクラスを提案し、レジーットの増加を制御する。
• f(t) = c + h(t)（h(t)がゆっくりと増加する、例えばlog^α(t)）を用いてR-UCBおよびR-UCB-Gアルゴリズムを設計し、漸近的レジーットと堅牢性のバランスを取る。
• サブガウス型パラメータに関するノイズを含む事前情報（例：σ ≈ 8）をf(t)に組み込み、f(t) = c + log(t)と設定することで、短期的性能を向上させる。
• 理論的分析により、f(t)がtの任意のべき乗よりもゆっくりと増加するため、f(t)の増加がO(f(t))に漸近的に比例するレジーットスケーリングが保証され、広い分布クラスにわたる一貫性が確保されることを示す。
• 任意の対数的レジーットを達成するアルゴリズムは、分布の不一致下では本質的に不一貫であり、一方、一貫性を持つアルゴリズムは必然的に超対数的レジーットを被ることを確立する。
• 実際のレジーット境界が理論的上界よりも著しく緩いことが判明しており、実験結果から実際のレジーットは理論的上界の大幅に下回ることが示された。

実験結果

リサーチクエスチョン

• RQ1 対数的レジーットを達成するバンディットアルゴリズムは、仮定されたパラメトリッククラス外の分布に適用された場合でも一貫性を保てるか？
• RQ2 分布パラメータの事前知識を必要とせず、統計的に堅牢かつ漸近的に対数的レジーットに近いレジーットを達成するバンディットアルゴリズムを設計することは可能か？
• RQ3 報酬分布に関するノイズを含む事前情報が、堅牢なバンディットアルゴリズムの短期的レジーットにどのように影響を与えるか？
• RQ4 信頼区間ベースのバンディットアルゴリズムにおいて、スケーリング関数f(t)の増加率とそれによるレジーットおよび堅牢性のトレードオフは何か？

主な発見

• 対数的レジーットを達成するアルゴリズムは統計的に脆弱である：パラメータが一致しない分布（例：σ′-サブガウス型でσ′ > σ）に適用された場合、力学的レジーットスケーリングを示し、不一貫性を示す。
• 統計的堅牢性と対数的レジーットは互いに排他的である：一貫性を持つアルゴリズムは必然的に超対数的レジーットを被る。
• 提案されたR-UCBおよびR-UCB-Gアルゴリズムは、f(t)がゆっくりと増加する（例：log^1.6(t)やlog^2(t)）スケーリング関数を用いることで、漸近的レジーットを対数的レジーットに任意に近づける。
• 実験結果から、f(t)が速く増加するほど、漸近的に累積レジーットが高くなることが確認され、理論的予想と一致した。
• f(t)にノイズを含む事前情報（例：σ ≈ 8に基づきf(t) = 512 + log(t)と設定）を組み込むことで、f(t) = log(t)のケースに比べて短期的レジーットが低減され、堅牢性を損なわず、性能が向上した。
• シミュレーションで観測されたレジーットは、理論的上界よりも著しく低く、既存のレジーット境界が実際の状況では緩いことが示された。