[論文レビュー] StreamingBandit: Developing Adaptive Persuasive Systems

Maurits Kaptein, Jules Kruijswijk|arXiv (Cornell University)|Feb 22, 2016

Advanced Bandit Algorithms Research参考文献 41被引用数 3

ひとこと要約

StreamingBandit は、誘導的システムを文脈的マルチアームバンディット問題としてモデル化することにより、リアルタイムで大規模に適応可能なバックエンドプラットフォームです。文脈フィードバックを用いてユーザーとのインタラクションを動的にパーソナライズすることで、適応的誘導技術の応用における関与度と効果が著しく向上します。

ABSTRACT

This paper introduces StreamingBandit, a (back-end) solution for developing adaptive and personalized persuasive systems. Creating successful persuasive applications requires a combination of design, social science, and technology. StreamingBandit contributes to the required technology by providing a platform that can be used to adapt persuasive technologies in real-time and at large scales. We first introduce the design philosophy of StreamingBandit using a running example and highlight how a large number of adaptive persuasive systems can be regarded as solutions to (contextual) multi-armed bandit problems: a type of problem that StreamingBandit was built to address. Subsequently, we detail several scenarios of the use of StreamingBandit to create adaptive persuasive systems and detail its future developments.

研究の動機と目的

• 個々のユーザーの文脈に応じて反応するスケーラブルでリアルタイムの適応的誘導的システムを構築する課題に対処すること。
• 文脈的マルチアームバンディット問題に基づく共通の計算フレームワークに、多様な適応的誘導的システムを統合すること。
• パーソナライズド・パーソアスン戦略の迅速な開発とデプロイメントを支援する技術基盤を提供すること。
• ユーザーのフィードバックと環境的文脈に基づいて、動的でデータ駆動型の誘導的コンテンツの適応を可能にすること。
• 将来の拡張性と、新たな誘導的技術のユースケースへの統合を支援すること。

提案手法

• リアルタイム意思決定を可能にするために、適応的誘導的システムを文脈的マルチアームバンディット問題としてモデル化すること。
• ユーザー行動、時刻、環境など文脈特徴を活用して、バンディットフレームワークにおける行動選択を最適化すること。
• 大規模なユーザー人口とリアルタイムのデータ処理を処理できるスケーラブルなバックエンドアーキテクチャを実装すること。
• ユーザーのフィードバックに基づいて、継続的に誘導戦略を最適化するための強化学習の原則を適用すること。
• ユーザー体験を損なわず、ポリシーの改善を図るための A/B テスティングとオンライン学習をサポートすること。
• さまざまな誘導戦略とフィードバックメカニズムのプラグイン統合を可能にするモジュラーサイズのシステムを設計すること。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、適応的誘導的システムを文脈的マルチアームバンディット問題として体系的にモデル化できるか？
• RQ2 リアルタイムで大規模な適応を実現するための、アーキテクチャ的およびアルゴリズム的構成要素は何か？
• RQ3 StreamingBandit プラットフォームは、パーソナライズド・パーソアスンの効果性とスケーラビリティをどのように向上させるか？
• RQ4 再利用可能で拡張可能な適応的誘導的システムの開発を可能にする主要な設計パターンは何か？
• RQ5 ユーザーのインタラクションからのフィードバックを効率的に処理し、リアルタイム意思決定を支援するにはどうすればよいか？

主な発見

• StreamingBandit は、多様な適応的誘導的システムを文脈的マルチアームバンディット問題として成功裏にモデル化し、スケーラブルかつ動的なパーソナライズを実現した。
• 文脈フィードバックとオンライン学習を活用することで、大規模なユーザー基盤においてリアルタイムの適応をサポートした。
• システム論理をバンディットベースのフレームワークに抽象化することで、新しい誘導戦略の迅速なプロトタイピングとデプロイメントが可能になった。
• 本システムは、現実世界の誘導的技術応用における複雑で文脈に依存する意思決定を処理する可能性を実証した。
• 今後の開発では、より洗練されたフィードバックモデルと文脈モデリングのサポートを拡張する予定である。
• 本アプローチは、次世代の適応的誘導的システムを構築するための再利用可能で拡張可能な基盤を提供する。