[論文レビュー] Bayesian Optimization for Policy Search via Online-Offline Experimentation

Benjamin Letham, Eytan Bakshy|arXiv (Cornell University)|Apr 1, 2019

Advanced Bandit Algorithms Research被引用数 16

ひとこと要約

本稿では、実世界の機械学習システムにおける複雑な機械学習ポリシーの最適化を効率的に行うために、オффラインシミュレータ評価とオンラインA/Bテストを統合するマルチタスクベイジアン最適化フレームワークを提案する。低ランクのマルチタスクガウス過程を用いて、シミュレータとオンライン実験の結果を同時にモデリングすることで、高価なオンライン実験の回数を削減し、シミュレータのバイアスが存在するにもかかわらず最適化の効率性と正確性を著しく向上させる。

ABSTRACT

Online field experiments are the gold-standard way of evaluating changes to real-world interactive machine learning systems. Yet our ability to explore complex, multi-dimensional policy spaces - such as those found in recommendation and ranking problems - is often constrained by the limited number of experiments that can be run simultaneously. To alleviate these constraints, we augment online experiments with an offline simulator and apply multi-task Bayesian optimization to tune live machine learning systems. We describe practical issues that arise in these types of applications, including biases that arise from using a simulator and assumptions for the multi-task kernel. We measure empirical learning curves which show substantial gains from including data from biased offline experiments, and show how these learning curves are consistent with theoretical results for multi-task Gaussian process generalization. We find that improved kernel inference is a significant driver of multi-task generalization. Finally, we show several examples of Bayesian optimization efficiently tuning a live machine learning system by combining offline and online experiments.

研究の動機と目的

• 実世界の機械学習システムにおけるオンラインA/Bテストの高コストと限られたスループットを解消すること、特に多次元で複雑なポリシースペースに対して。
• オフラインシミュレータ評価とオンライン実験を統合することで最適化効率を向上させること、これらをマルチファシリティ観測として扱う。
• 特に異なるシミュレータバッチ間で生じる非定常性とオフポリシー行動に起因するバイアスをモデリング・是正すること。
• オフラインとオンラインデータを統合するガウス過程モデルの実効的性能を実証的に評価すること。
• 特に低ランクのタスク共分散構造による改善されたカーネル推論が、マルチタスク最適化における一般化の主要因であることを示すこと。

提案手法

• 本手法は、インセンティブコアギリゼーション（ICM）カーネルを用いたマルチタスクガウス過程（MTGP）を用い、オフラインシミュレータとオンラインA/Bテストからの応答を同時にモデリングする。
• 各オフラインシミュレータバッチを別個のタスクとして扱い、時間順に並べられたシミュレータ実行における非定常性バイアスを学習・是正できるようにする。
• 複数のシミュレータバッチに起因する高次元性に対処するため、タスク共分散行列の低ランク近似を用いることでスケーラビリティと一般化性能を向上させる。
• オンライン最適化器は、オフラインおよびオンライン評価からの情報を統合した、探索と活用のバランスを取る獲得関数を用いる。
• 繰り返しポリシー評価を複数のシミュレータバッチで実施することで、時間依存バイアスの推定が可能となり、モデルのキャリブレーションが向上する。
• 交差検証を用いてモデルの性能を検証し、モデル誤指定および非定常性に対してロバストであることを保証する。

実験結果

リサーチクエスチョン

• RQ1 オフラインシミュレータ評価を組み込むことで、実世界の機械学習システムにおけるポリシー探索におけるオンラインA/Bテストの必要回数を顕著に削減できるか？
• RQ2 時間経過に伴うユーザ行動やアイテム特性の変化に起因するシミュレータ非定常性に起因するバイアスを、効果的にモデリング・是正できるか？
• RQ3 特に低ランクのタスク共分散構造を用いたマルチタスクガウス過程モデリングが、一般化性能および最適化性能をどの程度向上させるか？
• RQ4 バイアスを含むオフラインデータを含めることで、ベイジアン最適化における学習曲線および収束速度にどのような影響が生じるか？
• RQ5 オンライン・オフライン実験の文脈において、改善されたカーネル推論がマルチタスク一般化に与える影響は何か？

主な発見

• 実証的学習曲線から、バイアスを含むオフラインシミュレータデータを統合することで、収束が著しく速くなり、オンライン実験の必要回数が削減されるという顕著な最適化の向上が確認された。
• オフラインデータの統合により、オンライン最適化器が最適ポリシーについての信念の不確実性（エントロピー）がより速く減少することが示された。
• シミュレータバッチ間の非定常性は、応答面に線形シフトのような時間依存バイアスを引き起こすが、これは低ランクICMカーネルによって効果的にモデリングされた。
• バイアスを含むオフラインデータからの学習能力は、主に改善されたカーネル推論、特に低ランクタスク共分散構造によるものである。
• 複数のシミュレータバッチにわたる繰り返しポリシー評価により、時間変動するバイアスの推定が効果的に行われ、モデルのキャリブレーションと一般化性能が向上した。
• 交差検証により、モデル誤指定および非定常性に対してもマルチタスクモデルが良好に機能することが確認され、実世界の設定におけるロバスト性が裏付けられた。