[論文レビュー] Explore-Exploit: A Framework for Interactive and Online Learning

Honglei Liu, Anuj Kumar+2 more|arXiv (Cornell University)|Dec 1, 2018

Advanced Bandit Algorithms Research参考文献 13被引用数 3

ひとこと要約

Explore-Exploit は、オンラインおよびインタラクティブな機械学習を対象とした生産環境対応のフレームワークであり、ユーザーエクスペリエンスの劣化を最小限に抑えるために、探索と活用のバランスをとります。ハイパーパラメータチューニング、アクティブラーニング、強化学習などのタスクにおいて、カスタマイズ可能なオンライン学習オペレータ（例：UCB1Enhanced や ε-greedy）を活用し、最適な設定への自動収束を数日で達成します。

ABSTRACT

Interactive user interfaces need to continuously evolve based on the interactions that a user has (or does not have) with the system. This may require constant exploration of various options that the system may have for the user and obtaining signals of user preferences on those. However, such an exploration, especially when the set of available options itself can change frequently, can lead to sub-optimal user experiences. We present Explore-Exploit: a framework designed to collect and utilize user feedback in an interactive and online setting that minimizes regressions in end-user experience. This framework provides a suite of online learning operators for various tasks such as personalization ranking, candidate selection and active learning. We demonstrate how to integrate this framework with run-time services to leverage online and interactive machine learning out-of-the-box. We also present results demonstrating the efficiencies that can be achieved using the Explore-Exploit framework.

研究の動機と目的

• リアルタイムの生産環境において、進化するユーザープreferencesに常に適応するシステムの課題に対処する。
• オンライン学習中の非最適な探索によって引き起こされるユーザーエクスペリエンスの劣化を最小限に抑える。
• アーキテクチャの大幅な見直しを伴わずに、既存のランタイムサービスにインタラクティブおよびオンライン学習をシームレスに統合できるようにする。
• ランク付け、候補選定、ハイパーパラメータチューニング、アクティブラーニングなどの多様な学習タスクを、カスタマイズ可能で即挿し可能なオペレータでサポートする。
• フィードバック駆動のモデル適応を自動化しながらも、高い関連性と使いやすさを維持する生産向けシステムを提供する。

提案手法

• 任意のランタイムシステムが最小限の結合で探索に参加または非参加を選べるサブスクリプションベースのサービスアーキテクチャを設計する。
• 学習の目的を封入するための探索ターゲット（Exploration Target）を定義し、トランスフォーマー、オペレータ、フィードバックフェッチャ、メタデータを含む。
• ε-greedy、UCB1、トマソンサンプリング、およびターゲット固有の最適化を目的とした新規の UCB1Enhanced 変種を含む、オンライン学習オペレータを実装する。
• UCB1Enhanced オペレータを用いて、報酬に基づく目的関数により探索と活用のバランスをとる。この目的関数は、ターゲット指標（例：CTR = 0.11）からの逸脱をペナルティ化する。
• リアルタイムのユーザーフィードバック信号を記録・処理し、動的に候補選定とモデルパラメータを調整する。
• ストリーミング型およびプールベースのアクティブラーニングをサポートし、強化学習および AutoML ワークフローと統合する。

実験結果

リサーチクエスチョン

• RQ1 リアルタイムの生産環境において、ユーザーエクスペリエンスの劣化を避けるために、探索と活用をどのように効果的にバランスさせるか？
• RQ2 システム全体の変更を要しないように、オンライン学習を既存のランタイムサービスにどのようにシームレスに統合できるか？
• RQ3 オンライン学習による自動ハイパーパラメータチューニングは、手動チューニングに比べて、より速くかつ信頼性高く最適な設定に収束できるか？
• RQ4 UCB1Enhanced オペレータは、オンライン学習環境において、レギュレートを最小限に抑えつつ、ターゲットパフォーマンス指標（例：CTR）を達成するのにどの程度効果的か？
• RQ5 統合されたフレームワークは、ランク付け、アクティブラーニング、強化学習などの多様な学習タスクを生産環境でどの程度サポートできるか？

主な発見

• Explore-Exploit フレームワークにより、ターゲット CTR 0.11 を設定したパーソナライゼーションモデルにおいて、最適なしきい値 0.12 への自動収束が実現され、手動チューニングの期間が週から数日へ短縮された。
• 数日間の運用後、システムはターゲット報酬からの相対的偏差が最小（0.12、偏差 ≈ 0）である候補に収束しており、学習プロセスの正確性が裏付けられた。
• 初期段階の探索は候補間で一様に行われており、収束前における偏りのないデータ収集が実現されており、学習プロセスの妥当性を裏付ける。
• フレームワークにより、複数のモデルにおける手動 A/B テストや繰り返しのしきい値チューニングの必要性が排除され、工学的作業が大幅に削減された。
• UCB1Enhanced オペレータは、高い潜在的価値を持つ候補を効果的に優先し、レギュレートを最小限に抑えつつ、未十分に探索された選択肢の探索も維持した。
• サブスクリプションベースの設計により、オンライン学習機能の導入および削除が容易になり、さまざまなサービスにおける柔軟な展開が可能になった。