[論文レビュー] A Stochastic Differential Equation Framework for Guiding Online User Activities in Closed Loop

Yichen Wang, Evangelos A. Theodorou+2 more|arXiv (Cornell University)|Mar 30, 2016

Advanced Bandit Algorithms Research参考文献 38被引用数 8

ひとこと要約

本論文は、点過程に基づくユーザ行動モデルを確率的微分方程式（SDE）に再定式化するSDEフレームワークを提案し、オンラインユーザ行動の閉ループ指導致療に確率的最適制御を適用可能にする。一般化された伊藤の補題やハミルトニアン・ジョルダン・ベルマン（HJB）方程式を一般点過程へ拡張することで、リアルタイムフィードバック制御が可能となり、ノードの誕生を伴う時間変動型ネットワークにおける、最先端の手法と比較して著しく低い総コストと高い予測精度を達成する。

ABSTRACT

Recently, there is a surge of interest in using point processes to model continuous-time user activities. This framework has resulted in novel models and improved performance in diverse applications. However, most previous works focus on the "open loop" setting where learned models are used for predictive tasks. Typically, we are interested in the "closed loop" setting where a policy needs to be learned to incorporate user feedbacks and guide user activities to desirable states. Although point processes have good predictive performance, it is not clear how to use them for the challenging closed loop activity guiding task. In this paper, we propose a framework to reformulate point processes into stochastic differential equations, which allows us to extend methods from stochastic optimal control to address the activity guiding problem. We also design an efficient algorithm, and show that our method guides user activities to desired states more effectively than the state of the art.

研究の動機と目的

• リアルタイムフィードバックを統合した閉ループ設定においてオンラインユーザ行動を指導致療するという課題に取り組み、オープンループ予測モデルを越えること。
• ユーザ行動の点過程モデルと確率的最適制御理論の間のギャップを埋め、動的ポリシー学習を可能にすること。
• ノードの誕生と複雑なダイナミクスを伴う時間変動型ネットワークをサポートする、点過程モデルをSDEに一般化する再定式化手法を開発すること。
• ハーウェイクス、サバイバル、ノード誕生過程などの高度な点過程によって駆動されるSDEに対して、古典的確率的制御ツール（イタオの補題、HJB方程式など）を拡張すること。
• 高速収束と分散低減を実現するように、ユーザ行動ダイナミクスを望ましい状態へ誘導する効率的なアルゴリズムを設計すること。

提案手法

• ハーウェイクス、サバイバル、ノード誕生過程などの点過程に基づくユーザ行動モデルを、ジャンプ拡散を伴う確率的微分方程式（SDE）に再定式化する。
• 一般点過程によって駆動されるSDEに対して、一般化されたイタオの補題と修正版ハミルトニアン・ジョルダン・ベルマン（HJB）方程式を導入し、古典的確率的制御理論を拡張する。
• 現在のユーザ状態 x(t) を各時刻 t での行動 u(x(t), t) にマッピングするフィードバック制御ポリシーを設計し、リアルタイムでの適応を可能にする。
• 価値関数の近似と有限差分法、またはクロスエントロピー法を用いてHJB方程式を数値的に解き、ポリシー最適化を実現する。
• 動的ノードおよびリンク生成を伴う時間変動型ネットワークを処理できるポリシー学習アルゴリズムを設計し、スケーラビリティとロバストネスを確保する。

実験結果

リサーチクエスチョン

• RQ1 オンラインユーザ行動の点過程モデルを、閉ループ制御を可能にする確率的微分方程式（SDE）に体系的に再定式化できるか？
• RQ2 確率的最適制御理論を、ハーウェイクス、サバイバル、ノード誕生過程などの複雑な点過程によって駆動されるSDEに拡張できるか？
• RQ3 固定またはオープンループポリシーと比較して、時間変動型フィードバックポリシーを用いることで、ユーザ行動の目標状態への誘導においてどの程度の性能向上が得られるか？
• RQ4 高周波数のノード誕生と変化するトポロジーを示す動的ネットワークにおいて、本フレームワークの性能はいかがなものか？
• RQ5 ホールドアウトされた実世界の軌道上で評価した場合、最適制御ポリシーの予測精度はどの程度向上されるか？

主な発見

• 時間変動型MemetrackerネットワークにおけるLSOGタスクにおいて、本手法はCrossEntropyと比較して総コストを約6倍低減し、優れた制御性能を示した。
• Twitterネットワークで高頻度のノード誕生と高い確率的変動性を示すOIMタスクにおいて、本手法はCrossEntropyと比較して総コストを約3倍低減した。
• MemetrackerおよびTwitterデータセットの両方で、最適軌道順序の予測精度がCrossEntropyと比較して0.4以上向上し、真の最適ポリシーとの整合性が著しく高いことが示された。
• コストトレードオフパラメータρが増加するに従っても、本手法は予測精度の低下がベースラインより遅く、予算制約下でも強固な性能を維持した。
• 特に動的リンク生成とノード誕生を伴うネットワークにおいて、望ましい状態へのユーザ意見ダイナミクスの誘導において、本フレームワークはロバスト性と高速収束性を示した。