[論文レビュー] Thompson Sampling for Contextual Bandit Problems with Auxiliary Safety Constraints

Samuel Daulton, Shaun Singh+3 more|arXiv (Cornell University)|Nov 1, 2019

Advanced Bandit Algorithms Research被引用数 8

ひとこと要約

本稿では、補助的セーフティ制約を備えたトマソンサンプリング（TS-ASC）を提案する。これは、主な報酬を最適化しつつ、ベースライン方策に対する補助的指標に関する確率的セーフティ制約を満たす、新しい文脈的バンディットアルゴリズムである。マルチオブジェクティブな設定における安全な探索を可能にし、実世界の動画トランスコードタスクで実証された。ここでは、品質を向上させながらアップロード信頼性を低下させない方策を必要とし、セーフティと報酬のパラメータをベイズ最適化することで、両方の指標において同時に改善を達成した。

ABSTRACT

Recent advances in contextual bandit optimization and reinforcement learning have garnered interest in applying these methods to real-world sequential decision making problems. Real-world applications frequently have constraints with respect to a currently deployed policy. Many of the existing constraint-aware algorithms consider problems with a single objective (the reward) and a constraint on the reward with respect to a baseline policy. However, many important applications involve multiple competing objectives and auxiliary constraints. In this paper, we propose a novel Thompson sampling algorithm for multi-outcome contextual bandit problems with auxiliary constraints. We empirically evaluate our algorithm on a synthetic problem. Lastly, we apply our method to a real world video transcoding problem and provide a practical way for navigating the trade-off between safety and performance using Bayesian optimization.

研究の動機と目的

• 複数の競合する目的に加え、ベースライン方策に対するセーフティ制約がある現実世界の逐次的意思決定問題に対処すること。
• 補助的指標（例：信頼性）がベースライン水準を下回らないように保証しながら、探索と活用のトレードオフを効果的かつ堅牢に制御する実用的で強固な手法を開発すること。
• 従来の文脈的バンディットフレームワークを、確率的かつ未知のセーフティ制約を持つ状況にまで一般化すること。
• 生産環境システムにおけるセーフティと報酬のトレードオフを、スケーラブルでベイズ最適化駆動のアプローチでチューニングすること。
• 品質と信頼性が相反する実世界の動画トランスコードアプリケーションにおいて、本手法の有効性を実証すること。

提案手法

• 文脈と行動の関数として成功確率（例：信頼性の高いアップロード）をモデル化することで、補助的セーフティ制約を組み込んだ、トマソンサンプリングに基づくアルゴリズムTS-ASCを提案する。
• 文脈-行動ペアからの特徴を抽出するために、共有の2層完全結合ニューラルネットワークを用い、その後に線形カーネルとベルヌーイ尤度を備えたガウス過程を適用して成功確率をモデル化する。
• 主な目的（例：1080p品質の維持）と、αでパrameter化されたセーフティしきい値を組み合わせた報酬形状化メカニズムを導入する。αは補助的指標性能の許容可能な低下を制御する。
• ノイズのある期待改善（Expected Improvement）の獲得関数を用いたベイズ最適化により、ノイズのある制約付き出力下で報酬関数パラメータ（Ω）とセーフティしきい値（α）を同時にチューニングする。
• 補助的セーフティ制約を、時間的に変化するベースラインとして確率的にモデル化することで、サブグループ全体にわたり信頼性が現在の状況より低下しないように保証する。
• A/Bテストと応答面モデル化を用いて、異なるαと報酬パラメータ設定における品質と信頼性のトレードオフを可視化することで、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 確率的かつ文脈依存的な環境下で、補助的指標がベースライン方策の性能を下回らないように保証しつつ、文脈的バンディットアルゴリズムが主な報酬指標を効果的に最適化できるか？
• RQ2 ベースライン性能が時間的に変化し、事前に未知である場合に、どのようにセーフティ制約をモデル化し、実装することができるか？
• RQ3 セーフティしきい値パラメータαが、実世界システムにおけるパフォーマンス向上と信頼性維持のトレードオフに与える影響は何か？
• RQ4 ノイズのある2値出力を持つマルチオブジェクティブバンディット問題において、トマソンサンプリングを補助的セーフティ制約を扱えるように拡張できるか？
• RQ5 生産規模のアプリケーションにおいて、提案されたTS-ASC手法は、ヴァニラ版トマソンサンプリングと比較して、パフォーマンスとセーフティの両面で優れているか？

主な発見

• TS-ASCは、アップロード信頼性を維持または向上させつつ、1080p品質を維持する動画の割合を増加させ、両方の指標において同時に改善を達成した。
• αを0に近づけると、方策はベースラインに対する信頼性の低下を完全に回避し、強いセーフティ強制を示した。
• αが増加するにつれて、方策はより寛容になり、わずかな許容可能な信頼性の低下を伴ってより高品質なアップロードを許可するようになり、これは応答面分析で明確に示された。
• ヴァニラ版トマソンサンプリングは、すべてのテストパラメータ設定において信頼性を一貫して低下させた。これにより、補助的セーフティ制約の必要性が強調された。
• ベイズ最適化は、望ましいトレードオフをもたらすパラメータ設定（αとΩ）を効果的に同定した。TS-ASC方策は、品質と信頼性の両面でヴァニラTSを上回った。