[論文レビュー] Contextual Bandits under Delayed Feedback.

Claire Vernade, Alexandra Carpentier+3 more|arXiv (Cornell University)|Jan 1, 2018

Advanced Bandit Algorithms Research参考文献 25被引用数 20

ひとこと要約

本論文は、報酬が即座に到着しないか、完全に失われる可能性がある遅延および遮断付きフィードバックの文脈的バンディットアルゴリズムを、UCBに基づいて提案する。新たなレギュレート解析を導入し、実用的なベースラインと比較して実験的に検証し、現実世界のフィードバック遅延下でも性能が向上することを示している。

ABSTRACT

Delayed feedback is an ubiquitous problem in many industrial systems employing bandit algorithms. Most of those systems seek to optimize binary indicators as clicks. In that case, when the reward is not sent immediately, the learner cannot distinguish a negative signal from a not-yet-sent positive one: she might be waiting for a feedback that will never come. In this paper, we define and address the contextual bandit problem with delayed and censored feedback by providing a new UCB-based algorithm. In order to demonstrate its effectiveness, we provide a finite time regret analysis and an empirical evaluation that compares it against a baseline commonly used in practice.

研究の動機と目的

• オンライン広告などの産業システムで一般的な、遅延および遮断付きフィードバックの課題に対処すること。
• 報酬がすぐに入手できない、あるいは一切受信されない状況でも信頼性の高い学習を可能にすること。
• フィードバックの遅延および遮断にかかわらず性能を維持するUCBベースのアルゴリズムを設計すること。
• 遅延および遮断付きフィードバック下での提案アルゴリズムに対する有限時間レギュレート解析を提供すること。
• 実務で一般的に用いられる標準ベースラインと比較して、アルゴリズムを実証的に評価すること。

提案手法

• 提案アルゴリズムは、期待されるフィードバック到着時刻に基づいて信頼区間を調整することで、UCBの原則を遅延フィードバックに対応させるように拡張する。
• フィードバックプロセスを遮断としてモデル化し、欠落したフィードバックはまだ観測されていないが、肯定的である可能性があると扱う。
• アルゴリズムは期待報酬と不確実性の推定値を維持し、フィードバックが到着したときにのみ更新する。
• フィードバックが受信されない確率を考慮した、遅延に配慮した探索戦略を組み込む。
• レギュレート解析では、遅延分布と遮断メカニズムの両方を考慮して、有限時間の境界を導出する。
• 実験的評価では、遅延フィードバックを伴うシミュレート環境および実世界の設定で、標準UCBベースラインとアルゴリズムを比較する。

実験結果

リサーチクエスチョン

• RQ1 文脈的バンディットアルゴリズムは、フィードバックが遅延または遮断される状況でも、どのようにして性能を維持できるように適応できるか？
• RQ2 フィードバック遅延および遮断が、文脈的バンディット設定における学習のレギュレートに及ぼす理論的影響は何か？
• RQ3 UCBベースのアルゴリズムは、遅延および遮断付きフィードバック下で、標準ベースラインを上回る性能を達成できるか？
• RQ4 提案アルゴリズムのレギュレート境界は、遅延および遮断率の増加に伴ってどのようにスケーリングするか？
• RQ5 現実のフィードバック遅延シナリオにおいて、アルゴリズムはどのような実証的改善を示すか？

主な発見

• 提案アルゴリズムは、遅延および遮断の両方を考慮した有限時間レギュレート境界を達成し、現実のフィードバック条件下での理論的保証を強化している。
• 実験結果から、遅延および遮断付きフィードバック環境下で、標準UCBベースラインを上回る性能を示している。
• フィードバック遅延が長時間にわたるか予測不能であっても、安定した性能を維持している。
• レギュレート解析により、アルゴリズムの性能が遅延および遮断率の増加に伴い滑らかに劣化することが示された。
• 本手法は、観測されていないフィードバックと否定的フィードバックを効果的に区別し、欠落信号による長期間の非行動のリスクを低減している。