[論文レビュー] A Multiworld Testing Decision Service.

Alekh Agarwal, Sarah Bird+10 more|arXiv (Cornell University)|Jun 13, 2016

Advanced Bandit Algorithms Research参考文献 29被引用数 18

ひとこと要約

この論文では、探索、ログ記録、オンライン学習を通じて、現実の実行なしに反事後的に整合性のある意思決定を実現する機械学習駆動の意思決定サービスを提示する。このサービスは任意の離散的行動空間、報酬指標、学習アルゴリズムをサポートし、ニュースWebサイトで大規模に導入され、2016年1月以降にクリック数が25%相対的に向上した。

ABSTRACT

Applications and systems are constantly faced with decisions to make, often using a policy to pick from a set of actions based on some contextual information. We create a service that uses machine learning to accomplish this goal. The service uses exploration, logging, and online learning to create a counterfactually sound system supporting a full data lifecycle. The system is general: it works for any discrete choices, with respect to any reward metric, and can work with many learning algorithms and feature representations. The service has a simple API, and was designed to be modular and reproducible to ease deployment and debugging, respectively. We demonstrate how these properties enable learning systems that are robust and safe. Our evaluation shows that the Decision Service makes decisions in real time and incorporates new data quickly into learned policies. A large-scale deployment for a personalized news website has been handling all traffic since Jan. 2016, resulting in a 25% relative lift in clicks. By making the Decision Service externally available, we hope to make optimal decision making available to all.

研究の動機と目的

• 機械学習を用いたリアルタイムでデータ駆動の意思決定を可能にする汎用的意思決定サービスの設計。
• フィードバックループを伴う動的環境における安全で堅牢な方策学習の課題に対処すること。
• オンライン学習とログ記録を通じて、新しいデータの迅速な統合を可能にする方策学習の実現。
• 多様なアプリケーションに展開可能なモジュラーで再現可能かつAPIアクセス可能なシステムの提供。
• 任意の離散的行動空間と報酬指標をサポートし、さまざまなシステムへの広範な適用可能性を確保すること。

提案手法

• システムは、ライブデプロイメントなしに方策を評価できる反事後的結果をシミュレートするためのマルチワールドテスト（MWT）を用いる。
• 方策学習のための多様な文脈データと行動フィードバックを収集するために、探索戦略を採用する。
• ログ記録メカニズムにより、行動と報酬を記録し、後続の分析と方策評価を支援する。
• 新しいデータが到着するたびに、方策を段階的に更新するオンライン学習アルゴリズムを用いる。
• 学習アルゴリズムと特徴表現のプラグインを可能にするモジュラーなアーキテクチャを採用する。
• シンプルで標準化されたAPIにより、さまざまなシステム間での統合と再現性が容易になる。

実験結果

リサーチクエスチョン

• RQ1 生産環境におけるリアルタイムで反事後的に整合性のある方策学習を可能にする意思決定サービスは、どのように設計できるか？
• RQ2 オンライン意思決定におけるモularity、再現性、スケーラビリティを確保するために必要なアーキテクチャ的およびアルゴリズム的構成要素は何か？
• RQ3 探索、ログ記録、オンライン学習の統合は、方策の堅牢性と安全性をどのように向上させるか？
• RQ4 このようなシステムは、異なる行動空間、報酬指標、学習アルゴリズムにどの程度一般化可能か？
• RQ5 ベースライン意思決定戦略と比較して、実世界でのデプロイでどの程度のパフォーマンス向上が達成できるか？

主な発見

• 意思決定サービスは2016年1月以降、大規模なパーソナライズドニュースWebサイトのすべての生産トラフィックを処理している。
• 従来の意思決定アプローチと比較して、クリックスルーレートが25%相対的に向上した。
• 新しいデータの流入に応じて方策が迅速に更新され、ユーザー行動の変化に迅速に適応できる。
• 任意の離散的行動空間と報酬指標をサポートしており、広範な一般化能力を示している。
• モジュラー設計により、多様なアプリケーションへのデバッグとデプロイが容易である。
• ライブA/Bテストを実施せずに、ログされたデータを用いて方策を評価することで、反事後的整合性を維持している。