[論文レビュー] A Variational Bayesian State-Space Approach to Online Passive-Aggressive Regression

Arnold Salas, Stephen Roberts+1 more|arXiv (Cornell University)|Sep 8, 2015

Machine Learning and ELM参考文献 21被引用数 4

ひとこと要約

本稿では、オンラインの受動的・攻撃的（Passive-Aggressive: PA）回帰のための新規な変分ベイズ状態空間フレームワークを提案する。この手法は、確率的予測と自動的なハイパーパrameterチューニングを可能にする。PA回帰をベイズ線形ガウス状態空間モデル（LGSSM）としてモデル化し、オンライン変分推論スキームを適用することで、ニール川の水位、風速、金融のペアトレーディングデータなど、実世界の時系列データにおいて、標準的なカルマンフィルターより優れた予測性能を達成した。

ABSTRACT

Online Passive-Aggressive (PA) learning is a class of online margin-based algorithms suitable for a wide range of real-time prediction tasks, including classification and regression. PA algorithms are formulated in terms of deterministic point-estimation problems governed by a set of user-defined hyperparameters: the approach fails to capture model/prediction uncertainty and makes their performance highly sensitive to hyperparameter configurations. In this paper, we introduce a novel PA learning framework for regression that overcomes the above limitations. We contribute a Bayesian state-space interpretation of PA regression, along with a novel online variational inference scheme, that not only produces probabilistic predictions, but also offers the benefit of automatic hyperparameter tuning. Experiments with various real-world data sets show that our approach performs significantly better than a more standard, linear Gaussian state-space model.

研究の動機と目的

• 決定的オンライン受動的・攻撃的（PA）回帰の限界、すなわち不確実性の定量化が不十分で、固定されたハイパーパrameterに敏感である点を是正すること。
• PA回帰のベイズ的状態空間定式化を構築し、確率的予測と自己調整可能なハイパーパrameterを可能とすること。
• 線形ガウス状態空間モデルの文脈において、オンライン変分推論とストリーミング変分ベイズの関係を確立すること。
• 非定常的かつ大規模な時系列データにおいて、標準的なカルマンフィルターよりも優れた予測性能を示すこと。

提案手法

• PA回帰アルゴリズムを、過程ノイズを伴って時間的に変化する重みベクトルを持つベイズ線形ガウス状態空間モデル（LGSSM）として再定式化する。
• モデルパラメータおよび潜在状態の後立分布を段階的に近似するための、新規なオンライン変分推論スキームを開発する。
• ハイパーパrameter（ノイズの精度、過程分散など）を共役事前分布を持つ確率的変数として扱い、周辺化によって自動チューニングを可能にする。
• 推論手順はストリーミング変分ベイズに裏打ちされており、過去のデータを保存せずに効率的な逐次更新が可能である。
• 状態遷移モデルでは、重みベクトルがランダムウォークとして時間的に変化し、観測モデルでは入力を線形関数を通じて予測に結びつける。
• 変分下界から導かれた閉形式の更新式を用いて、各時刻で十分統計量と変分パラメータを更新することで、オンライン学習を実行する。

実験結果

リサーチクエスチョン

• RQ1 オンライン受動的・攻撃的回帰のベイズ的状態空間解釈は、不確実性の定量化と予測性能の向上を図れるか？
• RQ2 オンライン変分推論は、ベイズ的LGSSM設定にどのように適応され、自動ハイパーパrameterチューニングを可能にするか？
• RQ3 提案手法は、非定常的かつ大規模な時系列データにおいて、標準的なカルマンフィルターよりも高い予測精度を達成するか？
• RQ4 手動による再設定なしに、データ分布の変化（例：チェンジポイント）を効果的に捉えられるか？

主な発見

• ニール川の水位データセットにおいて、ADA-BYPASSはRMSE 0.72 cmを達成し、SKFベースラインの0.85 cmよりも顕著に低い値であった。
• 同じデータセットにおいて、ADA-BYPASSは予測対数尤度 -754.2を記録したのに対し、SKFは-971.78であった。これは、モデルのキャリブレーションが優れていることを示している。
• 風速データセットでは、ADA-BYPASSはRMSE 0.6 m/sを達成し、SKFの0.64 m/sを上回った。対数尤度は-24,971.75（ADA-BYPASS）対-30,140.04（SKF）であった。
• GDX-GLD ETFペアにおける統計的アービタージュにおいて、ADA-BYPASSはシャープレシオ1.12を達成した。これに対してSKFは0.7であった。最大回帰損失は14.61%（ADA-BYPASS）対73.05%（SKF）であった。
• 最大回帰損失期間は、ADA-BYPASSでは567日から375日へ短縮され、リスク露出の安定性が向上した。
• 分布シフト（例：AD 720–722ごろのニール川データにおける仮定されたチェンジポイント）に対しても、手動によるハイパーパラメータの再調整なしに、本手法は頑健性を示した。