[論文レビュー] Online learning with Corrupted context: Corrupted Contextual Bandits

Djallel Bouneffouf|arXiv (Cornell University)|Jun 26, 2020

Advanced Bandit Algorithms Research参考文献 36被引用数 10

ひとこと要約

本論文では、オンライン学習における不正な文脈を扱うために、トムソンサンプリングと古典的なマルチアームバンディット手法を組み合わせた、文脈的バンディットアルゴリズムTSCCを提案する。不正な文脈と正しくない文脈の両方から学習することで、TSCCは標準的な文脈的バンディットやMABベースラインと比較して、特に高い不正率下でも分類誤差を低減し、現実世界のデータセットにおいて高い耐障害性と性能向上を示している。

ABSTRACT

We consider a novel variant of the contextual bandit problem (i.e., the multi-armed bandit with side-information, or context, available to a decision-maker) where the context used at each decision may be corrupted ("useless context"). This new problem is motivated by certain on-line settings including clinical trial and ad recommendation applications. In order to address the corrupted-context setting,we propose to combine the standard contextual bandit approach with a classical multi-armed bandit mechanism. Unlike standard contextual bandit methods, we are able to learn from all iteration, even those with corrupted context, by improving the computing of the expectation for each arm. Promising empirical results are obtained on several real-life datasets.

研究の動機と目的

• オンライン意思決定システムにおける信頼性の低いまたは不正な文脈の課題に対処すること。
• 文脈特徴が頻繁に不正確または誤解を招く場合でも効果的な学習フレームワークを開発すること。
• 文脈的バンディットと古典的なマルチアームバンディットの長所を組み合わせ、現実世界の応用における耐障害性を向上させること。
• 不正な文脈条件下での提案アルゴリズムのレグレットバウンドを理論的に分析すること。
• さまざまなレベルの文脈不正率下で、現実のデータセットを用いて手法を実証的に検証すること。

提案手法

• TSCCアルゴリズムは、文脈的バンディットのトムソンサンプリングと、文脈の品質に依存しない非文脈的MABメカニズムを統合し、アーム報酬を独立して推定する。
• 別々の報酬推定値を維持する：一つは有効な文脈に基づくもの、もう一つはグローバルなアームパフォーマンスに基づくもの（文脈不正に強く）。
• ベイジアン後立確率サンプリングを用いて、探索と活用の動的バランスを図り、文脈的および非文脈的報酬推定値を統合する。
• 重要な要素として、観測された文脈の信頼性を重みづける不正確率モデルの使用により、適応的学習を可能にする。
• 文脈予測とグローバルバンディット推定値の両方を組み合わせたハイブリッド意思決定ポリシーを採用する。
• 理論的分析により、文脈が既知の確率で不正である場合でも、サブ線形なレグレットを維持できる上界が導出される。

実験結果

リサーチクエスチョン

• RQ1 意思決定に用いられる文脈が頻繁に不正である場合、オンライン学習アルゴリズムはどのようにして性能を維持できるか？
• RQ2 文脈的バンディットと古典的なマルチアームバンディットを組み合わせることで、信頼性の低い文脈下でも耐障害性が向上するか？
• RQ3 不正な文脈と正しくない文脈の両方から学習するハイブリッドアルゴリズムの理論的レグレットバウンドは何か？
• RQ4 さまざまなレベルの文脈不正率下で、提案手法は標準的な文脈的バンディットやMABベースラインと比較してどのように性能を発揮するか？
• RQ5 どのような現実世界の設定で、ハイブリッド手法が標準的手法を顕著に上回るか？

主な発見

• Covertypeデータセットでは、95％の文脈不正率下でTSCCは63.44 ± 3.75の誤分類誤差を達成し、CMAB（65.54 ± 4.57）およびMAB（70.54 ± 0.30）を顕著に上回った。
• CNAE-9データセットでは75％の不正率下で、TSCCはCMAB比で11.5％の誤差低減を達成し、強い耐障害性を示した。
• Internet Advertisementsデータセットでは、95％の不正率下でTSCCは15.21 ± 1.10の誤差を記録し、CMAB（16.21 ± 2.54）およびMAB（19.22 ± 0.20）を上回った。
• 50％の不正率下で、TSCCはすべてのデータセットで最小の誤差を達成し、文脈信頼性が中程度の状況での最適な性能を示した。
• 95％の不正率下ではMABベースラインが最も優れた性能を示したが、これは文脈的手法が文脈が極めて信頼できない場合に劣化することを示唆している。一方、TSCCは依然として優位性を維持した。
• 実証的結果から、TSCCはすべての不正率レベルおよびデータセットで、CMABおよびMABを一貫して上回ることが確認され、ハイブリッド学習アプローチの価値が裏付けられた。