[論文レビュー] An aggregating strategy for shifting experts in discrete sequence prediction

Vishnu Raj, Sheetal Kalyani|arXiv (Cornell University)|Aug 5, 2017

Algorithms and Data Compression参考文献 21被引用数 4

ひとこと要約

本論文は、指数的重み付けと指数的割引を用いた予測の組み合わせにより、非定常環境における離散的系列予測のための適応的集約戦略を提案する。この手法は理論的レジーット上界として O(√(T log K)) を達成し、多様な実世界データセットにおいて強力な実験的性能を示し、Active-LeZi や ewPPM などの最先端手法を上回るか同等の性能を発揮するとともに、形式的な理論的保証を提供する。

ABSTRACT

We study how we can adapt a predictor to a non-stationary environment with advises from multiple experts. We study the problem under complete feedback when the best expert changes over time from a decision theoretic point of view. Proposed algorithm is based on popular exponential weighing method with exponential discounting. We provide theoretical results bounding regret under the exponential discounting setting. Upper bound on regret is derived for finite time horizon problem. Numerical verification of different real life datasets are provided to show the utility of proposed algorithm.

研究の動機と目的

• 時間の経過とともに最適なエキスパートが変化する非定常環境における離散的系列予測の課題に対処すること。
• 完全なフィードバック下で複数のエキスパートの予測を理論的に裏付けられた方法で統合する手法の開発。
• 特にフレーズ境界での変化に強い収束速度と予測精度を、従来の PPM や LeZi に基づく手法と比較して向上させること。
• 既存のシステムコンponentsを変更せずに利用可能な従来の PPM の即時置換可能代替手段を提供すること。
• 指数的割引を用いた適応的集約戦略における理論的レジーット境界を確立すること。

提案手法

• 過去のパフォーマンスに基づき動的にエキスパート重みを調整するため、指数的重み付けと指数的割引を用いた手法を採用。
• 最近のエキスパートパフォーマンスに重みを置く乗法的重み更新ルールを適用し、環境の変化に適応可能にする。
• PPM と同様にコンテキストベースの予測のための tries 基盤の頻度構造を維持するが、複数のコンテキストレベルにわたるエキスパート集約を統合。
• 意思決定理論的分析を用いてレジーットをバインドし、有限時間ホライズン T と K 個のエキスパートに対して O(√(T log K)) の上界を導出。
• 既存の PPM フレームワークと互換性があり、標準的なコンテキストツリー構造を用いたシステムにスムーズに統合可能。
• 実世界のデータセットを用いて評価し、Active-LeZi、ewPPM、LZ78 などと比較して予測精度、実行時間、メモリ使用量を検証。

実験結果

リサーチクエスチョン

• RQ1 非定常な離散的系列予測において、変化する最適エキスパートに適応できる予測器はどのように設計できるか？
• RQ2 変化するエキスパート設定において、指数的割引を用いた集約戦略に対して理論的レジーット上界を確立できるか？
• RQ3 提案手法は、既存の PPM に基づく手法およびエキスパート集約手法と比較して、性能と効率性においてどのように差をつけるか？
• RQ4 提案手法は、システムアーキテクチャを変更せずに従来の PPM の即時置換として機能可能か？
• RQ5 エキスパートプールの構成と事前知識が、理論的レジーット上界のタイトネスに与える影響は何か？

主な発見

• 提案手法は、RM、CA、BA、MCS など全テストデータセットで、最もパフォーマンスの優れたアルゴリズムと同等またはそれ以上の予測精度を達成。
• MCS データセットでは、エントロピーが増加するため Active-LeZi の性能が時間経過とともに低下するが、提案手法は安定したパフォーマンスを維持。
• O(√(T log K)) のレジーット上界を示し、ewPPM や Active-LeZi にはない形式的な理論的保証を提供。
• 実行時間は競争力があり、RM で約 156 秒、CA で 256 秒、BA で 16.7 秒、MCS で 8.5 秒を要し、ewPPM や Adaptive MPP よりわずかに高速。
• 共有の tries 建設戦略のため、DG や LZ78 よりも高いメモリ使用量を示すが、ewPPM や Adaptive MPP と同等。
• LZ78 よりも高いメモリ使用量と実行時間であるが、エキスパート集約による予測力の向上により、精度で優れている。