[論文レビュー] Adapting to Misspecification in Contextual Bandits with Offline Regression Oracles

Sanath Kumar Krishnamurthy, Vitor Hadad+1 more|arXiv (Cornell University)|Feb 26, 2021

Advanced Bandit Algorithms Research参考文献 16被引用数 4

ひとこと要約

この論文では、誤差の高いモデル不適合性が検出された際に安全な方策に切り替えることで、モデル不適合性に適応する文脈的バンディットアルゴリズムを提案する。オンライン回帰オракルのみを用い、複雑なオーケストレーションやマスターアルゴリズムを必要とせず、不適合性の度合いが高くなるに従い滑らかに劣化するレグレット保証を達成する。

ABSTRACT

Computationally efficient contextual bandits are often based on estimating a predictive model of rewards given contexts and arms using past data. However, when the reward model is not well-specified, the bandit algorithm may incur unexpected regret, so recent work has focused on algorithms that are robust to misspecification. We propose a simple family of contextual bandit algorithms that adapt to misspecification error by reverting to a good safe policy when there is evidence that misspecification is causing a regret increase. Our algorithm requires only an offline regression oracle to ensure regret guarantees that gracefully degrade in terms of a measure of the average misspecification level. Compared to prior work, we attain similar regret guarantees, but we do no rely on a master algorithm, and do not require more robust oracles like online or constrained regression oracles (e.g., Foster et al. (2020a); Krishnamurthy et al. (2020)). This allows us to design algorithms for more general function approximation classes.

研究の動機と目的

• 線形またはパrametricモデルにおいて、報酬モデルが不適合している場合に生じる性能低下の問題に対処すること。
• FALCON+ や LinUCB などの実現可能性に基づくアルゴリズムが、不適合性下で不規則な挙動やレグレットの増加を示すという限界を克服すること。
• 真の報酬関数が仮定された関数クラスに含まれない場合でも、強いレグレット保証を維持できる計算効率の良いアルゴリズムを設計すること。
• オンライン・制約付き・頑健な回帰オーケストラなどの特殊なオーケストラに依存しないようにすることで、標準的なオフライン回帰オーケストラのみを用いること。
• 関数近似クラスの一般化への適用を可能にするために、アルゴリズムをオーケストラの頑健性に関する仮定から分離すること。

提案手法

• オフライン回帰オーケストラの予測品質を監視することで、不適合性誤差の増加を検出する文脈的バンディットアルゴリズムの族を導入する。
• モデルの予測誤差がしきい値を超えた場合、誤った推定の利用を避けるために安全な方策（例：一様分布や行動方策）に切り替える。
• 信頼度に基づくメカニズムを用いて、探索と活用のバランスを動的に調整し、報酬予測にはオールライン回帰オーケストラのみに依存する。
• 真の報酬関数とモデルクラスとの乖離を定量化する平均不適合誤差の尺度を定義し、これが直接的にレグレット境界に影響を与える。
• 不適合性が高まるに従い、レグレット保証が滑らかに劣化することを保証し、モデルが適切に適合されていなくても性能を維持できる。
• マスターアルゴリズムや複雑な最適化レイヤーを避けて、標準的な回帰オーケストラにのみ依存するシンプルでモジュラーな設計を採用する。

実験結果

リサーチクエスチョン

• RQ1 仮定された報酬モデルが不適合している場合に、文脈的バンディットアルゴリズムはどのようにして性能を維持できるか？
• RQ2 頑健なまたは制約付き回帰オーケストラやマスターアルゴリズムを必要とせずに、レグレット保証を維持できるか？
• RQ3 モデル不適合性が、FALCON+ のような既存の実現可能性ベースのアルゴリズムの収束性と安定性に与える影響は何か？
• RQ4 予測誤差の増加を根拠として、安全な方策を動的に発動できるか？
• RQ5 標準的なオフライン回帰オーケストラのみを用いたシンプルでモジュラーな設計は、一般関数クラスにおける不適合性に対する頑健性を達成できるか？

主な発見

• 提案された Safe-FALCON アルゴリズムは、FALCON+ が不適合性下で示す振動的レグレット行動を効果的に抑制し、時間経過とともに安定した性能を達成する。
• 平均不適合誤差が高くなるに従い、滑らかに劣化するレグレットバウンドを達成しており、真の報酬関数が線形でない場合でも頑健性を保証する。
• 不適合性が検出された際に安全な方策に切り替えることで、実現可能性ベースの手法が直面するデータの偏りと不安定性を回避する。
• この手法は高い計算効率を維持しており、従来の頑健な手法とは異なり、標準的オフライン回帰オーケストラ以外の追加オーケストラを必要としない。
• 実験結果では、モデルドリフトが生じる後期のエポックにおいても、FALCON+ で観察された高レグレットのスパイクや振動を回避している。
• レグレットバウンドは不適合度の平方根に比例するため、モデルの正確性と性能劣化の間の明確なトレードオフが得られる。