[論文レビュー] Conservative Contextual Linear Bandits

Abbas Kazerouni, Mohammad Ghavamzadeh+2 more|arXiv (Cornell University)|Nov 19, 2016

Advanced Bandit Algorithms Research被引用数 45

ひとこと要約

本稿では、常にベースライン方策の固定割合以上を達成するという保証がある安全な文脈的線形バンディットアルゴリズム、Conservative Linear UCB (CLUCB) を提案する。標準の線形UCBを、安全制約を満たす場合にのみ楽観的な行動を選択するように変更することにより、CLUCBは高確率での安全を保証するとともに、標準の線形UCBのレグレットに時間に依存しない定数項を加えたものにレグレットが有界になることを実現する。

ABSTRACT

Safety is a desirable property that can immensely increase the applicability of learning algorithms in real-world decision-making problems. It is much easier for a company to deploy an algorithm that is safe, i.e., guaranteed to perform at least as well as a baseline. In this paper, we study the issue of safety in contextual linear bandits that have application in many different fields including personalized ad recommendation in online marketing. We formulate a notion of safety for this class of algorithms. We develop a safe contextual linear bandit algorithm, called conservative linear UCB (CLUCB), that simultaneously minimizes its regret and satisfies the safety constraint, i.e., maintains its performance above a fixed percentage of the performance of a baseline strategy, uniformly over time. We prove an upper-bound on the regret of CLUCB and show that it can be decomposed into two terms: 1) an upper-bound for the regret of the standard linear UCB algorithm that grows with the time horizon and 2) a constant (does not grow with the time horizon) term that accounts for the loss of being conservative in order to satisfy the safety constraint. We empirically show that our algorithm is safe and validate our theoretical analysis.

研究の動機と目的

• 安全でない初期性能がステークホルダーによる拒否を招く可能性がある実世界の設定において、学習アルゴリズムを導入するという課題に対処すること。
• 文脈的線形バンディットにおける安全を、ベースライン方策に対する累積報酬の均一かつ高確率的な制約として形式化すること。
• 学習プロセスの全期間にわたり安全制約を厳密に満たしながら、レグレットを最小限に抑える学習アルゴリズムの設計。
• レグレットと安全の理論的保証を提供し、保守的戦略が時間の長さに依存しない定数のレグレットペナルティしかもたらさないことを示すこと。

提案手法

• 学習方策の期待累積報酬が、すべての時点でベースライン方策の報酬のα倍以上であることを要件とする安全制約を定式化する。
• 信頼集合内の最悪パラメータに対して安全制約を満たす場合にのみ行動を選択する、線形UCBの保守的変種であるCLUCBを提案する。
• 各ラウンドにおいて、標準のLUCBが推奨する行動が安全基準を満たしている場合にのみそれを実行し、そうでない場合はベースライン方策に従う。
• ベースライン方策の報酬関数が既知である場合と未知でデータから推定される場合の2つのバージョンのCLUCBを提示する。
• 未知のパラメーターベクトルの信頼集合を用いて最悪ケースのパフォーマンスを計算し、安全をきめ細かく保証する。
• 標準のLUCBのレグレット（√T log T のオーダー）と、保守的戦略に起因する定数項に分解された、レグレットの上界を証明する。

実験結果

リサーチクエスチョン

• RQ1 文脈的線形バンディットにおいて、安全を形式的に定義・実装する方法は何か？ これにより、パフォーマンスが常にベースライン方策の固定割合未満に下がることはなくなる。
• RQ2 文脈的線形バンディット設定において、学習アルゴリズムが時間的に一貫した安全を保証しつつ、高いレグレット性能を維持できるか？
• RQ3 このような設定において、保守的戦略（安全性）とレグレットのトレードオフは何か？ そして、これは時間の長さに依存せずに境界づけられるか？
• RQ4 実際の応用において、CLUCBは標準の線形UCBと比べて安全性とレグレットの両面で優れているか？
• RQ5 CLUCBの保守的行動は、時間に依存しないレグレットペナルティを引き起こすのか？ そして、これは理論的に証明可能か？

主な発見

• CLUCBは、すべての時点で高確率で安全制約を満たし、累積報酬が常にベースライン方策の期待報酬のα倍以上になることを保証する。
• CLUCBのレグレットは、標準の線形UCBのレグレットに加えて、時間の長さTに依存しない定数項が加わったものに有界である。
• 初期の保守的フェーズ（CLUCBがベースライン方策に従う期間）は、有限回のラウンドに限定され、ベースライン方策の非最適性に依存する。
• シミュレーション結果により、CLUCBはすべてのα値において安全を維持している一方、標準のLUCBは特にαが小さい場合に初期ラウンドの大部分で安全制約に違反していることが確認された。
• 初期の保守的フェーズを終えた後、CLUCBの1ステップあたりのレグレットはLUCBのものに収束し、αが大きい（安全性制約が緩い）ほど収束が速い。
• CLUCBのレグレットバウンドは、過去のマルチアームバンディット研究（保守的レグレットがTに比例して増加）を改善しており、保守的ペナルティを定数に保っている。