[論文レビュー] Making Contextual Decisions with Low Technical Debt

Alekh Agarwal, Sarah Bird+10 more|arXiv (Cornell University)|Jun 13, 2016

Advanced Bandit Algorithms Research参考文献 33被引用数 79

ひとこと要約

この論文では、文脈的 bandit 学習のための汎用的で技術的負債を最小限に抑える意思決定サービスクレートを紹介する。4つの統合された抽象化（探索、ログ記録、学習、デプロイ）を通じて、安全で再現可能かつスケーラブルなオンライン学習とリアルタイム意思決定を可能にする。コンテンツ推薦ではCTRが25–30%向上し、ランディングページ最適化では収益が18%増加した。

ABSTRACT

Applications and systems are constantly faced with decisions that require picking from a set of actions based on contextual information. Reinforcement-based learning algorithms such as contextual bandits can be very effective in these settings, but applying them in practice is fraught with technical debt, and no general system exists that supports them completely. We address this and create the first general system for contextual learning, called the Decision Service. Existing systems often suffer from technical debt that arises from issues like incorrect data collection and weak debuggability, issues we systematically address through our ML methodology and system abstractions. The Decision Service enables all aspects of contextual bandit learning using four system abstractions which connect together in a loop: explore (the decision space), log, learn, and deploy. Notably, our new explore and log abstractions ensure the system produces correct, unbiased data, which our learner uses for online learning and to enable real-time safeguards, all in a fully reproducible manner. The Decision Service has a simple user interface and works with a variety of applications: we present two live production deployments for content recommendation that achieved click-through improvements of 25-30%, another with 18% revenue lift in the landing page, and ongoing applications in tech support and machine failure handling. The service makes real-time decisions and learns continuously and scalably, while significantly lowering technical debt.

研究の動機と目的

• オンライン推薦やランク付けのような、相互作用的でフィードバック駆動のアプリケーションにおいて、機械学習システムにおける高い技術的負債を解消すること。
• 部分的フィードバックによる偏ったデータ、遅延報酬、強化学習システムにおける弱いデバッグといった失敗モードを克服すること。
• 文脈的意思決定のライフサイクル全般（探索、ログ記録、学習、デプロイ）をサポートする汎用的システムを設計すること。
• 同じデータコストで従来のA/Bテストよりも指数的に多くのポリシーを評価できる、文脈的banditを用いたマルチワールドテスト（MWT）を可能にすること。
• 探索とデプロイメント論理を分離するシステムレベルの抽象化を通じて、データの正確性、再現可能性、リアルタイムの保護措置を確保すること。

提案手法

• 文脈的意思決定のための閉ループアーキテクチャを形成する4つのコアなシステム抽象化（探索、ログ記録、学習、デプロイ）を導入すること。
• ランダム化され偏りのないアクションの探索を保証する専用の「探索」抽象化を用い、ポリシーのずれやデータバイアスを防ぐこと。
• 正確なタイミングとプロヴァンスを伴う完全なコンテキスト・アクション・報酬の三元組を記録する「ログ」抽象化を実装し、再現可能なトレーニングとデバッグを可能にすること。
• ログ記録と学習を分離することで、遅延報酬と分散型データ収集をサポートし、データパイプラインのエラーを低減すること。
• オンライン学習とリアルタイムのポリシー更新を統合し、環境やユーザー行動の変化に継続的に適応できること。
• 文脈的banditアルゴリズムを活用してマルチワールドテスト（MWT）を実現し、A/Bテストに比べて指数的に高いポリシー評価効率を達成すること。

実験結果

リサーチクエスチョン

• RQ1 生産環境の機械学習システムにおける技術的負債を最小限に抑えることのできる、文脈的bandit学習をサポートする汎用的システムをどのように設計できるか？
• RQ2 相互作用的で部分観測フィードバック環境において、正しい、偏りのない、再現可能なデータ収集を保証するために必要なシステム抽象化は何か？
• RQ3 遅延および分散型報酬収集をどのように堅牢に処理すれば、バイアスを防ぎ、信頼性の高いモデルトレーニングを確保できるか？
• RQ4 同じデータコストで、A/Bテストに比べて文脈的banditを用いたマルチワールドテスト（MWT）が、どの程度データ効率とポリシー評価スケールで優れているか？
• RQ5 探索からデプロイまでを閉ループで結ぶ統合されたシステムは、実世界の機械学習アプリケーションの信頼性とパフォーマンスを著しく向上させることができるか？

主な発見

• 文脈的bandit学習を用いた2つの実稼働コンテンツ推薦システムで、クリックストラックレート（CTR）が25–30%向上した。
• ランディングページ最適化のデプロイで18%の収益向上が観測され、システムの実際のビジネスインパクトを示した。
• システムによりML実験の完全な再現性が実現され、Vowpal Wabbitにおける誤った報酬範囲の取り扱いといったモデルバグの迅速な診断が可能になった。問題を特定のコンponentに分離することで、障害の原因を特定しやすくなった。
• マルチワールドテスト（MWT）をサポートすることで、同じデータコストでA/Bテストよりも指数的に多くのポリシーを評価でき、大幅にデータ効率が向上した。
• モジュラーな抽象化により、探索、ログ記録、学習、デプロイを分離することで技術的負債が削減され、生産環境における安全でスケーラブルかつ監査可能なMLオペレーションが可能になった。