[論文レビュー] Online Learning with Continuous Ranked Probability Score

Vladimir V. V’yugin, В. Г. Трунов|arXiv (Cornell University)|Feb 26, 2019

Advanced Bandit Algorithms Research被引用数 4

ひとこと要約

本稿では、確率的予測のオンライン学習において、連続ランク確率スコア（CRPS）を組み合わせ可能な損失関数として用いることを提案し、専門家予測を統合するためにVovkの集約アルゴリズムを適用可能にする。時間に依存しないレグレットバウンドを確立し、数値実験を通じて手法の有効性を検証する。

ABSTRACT

Probabilistic forecasts in the form of probability distributions over future events have become popular in several fields of statistical science. The dissimilarity between a probability forecast and an outcome is measured by a loss function (scoring rule). Popular example of scoring rule for continuous outcomes is the continuous ranked probability score (CRPS). We consider the case where several competing methods produce online predictions in the form of probability distribution functions. In this paper, the problem of combining probabilistic forecasts is considered in the prediction with expert advice framework. We show that CRPS is a mixable loss function and then the time independent upper bound for the regret of the Vovk's aggregating algorithm using CRPS as a loss function can be obtained. We present the results of numerical experiments illustrating the proposed methods.

研究の動機と目的

• 複数の専門家からの確率的予測をオンライン学習の文脈で統合する課題に対処すること。
• 逐次的予測と専門家アドバイスの文脈において適した、CRPSを組み合わせ可能な損失関数として確立すること。
• CRPSをスコアルールとして用いた場合のVovkの集約アルゴリズムの時間に依存しないレグレット上界を導出すること。
• 確率的予測タスクにおける数値実験を通じて、提案手法の性能を実証的に評価すること。

提案手法

• CRPSを損失関数として用いることで、確率的予測のオンライン学習にVovkの集約アルゴリズムを適応する。
• CRPSが組み合わせ可能な損失関数であることを示し、専門家アドバイスフレームワークにおける理論的レグレットバウンドを可能にする。
• CRPSの組み合わせ可能性に着目し、累積レグレットの時間に依存しない上界を導出する。
• 非ベイズ的かつオンラインな方法で、複数の専門家の予測分布を逐次的に統合する。
• 連続的な設定において、予測分布と観測結果の乖離をCRPSで測定する。
• 数値実験を用いて理論的結果の妥当性を検証し、合成データまたは実データ上での実用的性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 オンライン学習と専門家アドバイスの文脈において、連続ランク確率スコア（CRPS）は組み合わせ可能な損失関数であるか？
• RQ2 CRPSを損失関数として用いた場合、Vovkの集約アルゴリズムに対して時間に依存しないレグレットバウンドを導出できるか？
• RQ3 提案手法の性能は、ベースライン手法と比較してオンライン確率的予測においてどのように異なるか？
• RQ4 アルゴリズムの実証的挙動は、異なるデータシナリオにおいて予測精度とロバストネスの観点でどのように現れるか？

主な発見

• CRPSが組み合わせ可能な損失関数であることが証明され、オンライン確率的予測におけるVovkの集約アルゴリズムの適用が可能になる。
• CRPSを損失関数として用いた場合の集約アルゴリズムのレグレットに対する時間に依存しない上界が導出された。
• 理論的レグレットバウンドが時間の経過に依存しないため、安定した長期的性能が保証される。
• 数値実験により、提案手法の実用的妥当性と有効性が確認された。
• CRPSの観点からも、競争的な性能が達成されており、逐次的確率的予測タスクにおける実用的価値が示された。
• 結果は、CRPSをオンライン学習フレームワークにおける確率的予測のための原理的かつ理論的根拠を持つ損失関数として用いる価値があることを支持する。