[論文レビュー] Learning the Experts for Online Sequence Prediction

Elad Eban, Aharon Birnbaum+2 more|arXiv (Cornell University)|Jun 18, 2012

Advanced Bandit Algorithms Research参考文献 24被引用数 4

ひとこと要約

この論文では、過去のシーケンスのトレーニングデータを活用して、短いシーケンスにおけるオンライン順序予測の性能を向上させるために、専門家予測子の集合を自動で特定・学習する新しいオンライン学習アルゴリズムを提案する。本手法は、高パフォーマンスの専門家を適応的に選択することで、後から見れば最良の専門家に近い性能を達成し、理論的保証も備えている。ICML 2012 におけるウェブクリック予測タスクでの評価でもその有効性が裏付けられている。

ABSTRACT

Online sequence prediction is the problem of predicting the next element of a sequence given previous elements. This problem has been extensively studied in the context of individual sequence prediction, where no prior assumptions are made on the origin of the sequence. Individual sequence prediction algorithms work quite well for long sequences, where the algorithm has enough time to learn the temporal structure of the sequence. However, they might give poor predictions for short sequences. A possible remedy is to rely on the general model of prediction with expert advice, where the learner has access to a set of $r$ experts, each of which makes its own predictions on the sequence. It is well known that it is possible to predict almost as well as the best expert if the sequence length is order of $\log(r)$. But, without firm prior knowledge on the problem, it is not clear how to choose a small set of {\em good} experts. In this paper we describe and analyze a new algorithm that learns a good set of experts using a training set of previously observed sequences. We demonstrate the merits of our approach by applying it on the task of click prediction on the web.

研究の動機と目的

• 標準的な個別シーケンス予測アルゴリズムを用いた場合、短いシーケンスにおける予測性能が低いという課題に対処すること。
• シーケンスドメインに関する事前知識がなく、少数の効果的な専門家を効果的に選択する難しさを克服すること。
• 観測済みのシーケンスのトレーニングデータから、高品質な専門家の集合を学習する手法を開発すること。
• 限られたシーケンス長でも、後から見れば最良の専門家に近い理論的性能保証を確保すること。
• 実世界のウェブアプリケーションにおけるクリック予測タスクにおいて、本手法の実用的有効性を示すこと。

提案手法

• アルゴリズムは、事前に観測されたシーケンスのトレーニングデータを用いて、r 個の専門家を学習する。各専門家はトレーニングデータからのパターン予測に特化している。
• 予測の専門家アドバイスに基づくメタラーニングフレームワークを採用し、重み付き多数決戦略を用いて複数の専門家の予測を統合する。
• 学習済みの専門家集合の中で最良の専門家に対するレグレットを最小化する、新しい最適化手順によって専門家の選択が行われる。
• 専門家の数 r に対して対数的依存性を組み込むことで、スケーラビリティと理論的性能バインディングを保証する。
• オンライン凸最適化技術を用いて、反復的に専門家の重みを精緻化し、時間経過とともに予測精度を向上させる。
• アルゴリズムは適応的であり、観測されたシーケンスのパターンに応じて、専門家の寄与度を動的に調整する。

実験結果

リサーチクエスチョン

• RQ1 トレーニングシーケンスから自動的に専門家集合を学習することで、短いシーケンスにおけるオンライン予測性能を向上させることができるか？
• RQ2 アルゴリズムは、後から見れば最良の専門家に近い性能を保証できるか？
• RQ3 本手法の理論的レグレットバインディングは、専門家の数とシーケンス長の関数としてどのように表現されるか？
• RQ4 実世界のクリック予測タスクにおいて、本手法は実用的にどの程度の性能を示すか？
• RQ5 事前仮定なしに、多様なシーケンスパターンに一般化しやすいか？

主な発見

• 提案手法は、専門家の数に対して対数的にスケーリングするレグレットバインディングを達成しており、強力な理論的性能保証を備えている。
• 標準的な個別シーケンス予測アルゴリズムと比較して、短いシーケンスにおける予測精度が顕著に向上している。
• ウェブクリック予測データに対する実験的評価では、学習された専門家集合が固定された専門家セットやベースライン手法を上回っていることが示された。
• アルゴリズムは、トレーニングデータから関連する専門家を効果的に特定・活用し、潜在するシーケンス構造に適応している。
• 本手法は、大規模な潜在専門家集合に対しても、レグレットが低く保たれるという点で、頑健性とスケーラビリティを示している。
• データから専門家を学習することで、手作業で作成したまたは静的な専門家セットに依存するよりも優れた性能が得られることを結果が裏付けている。