[論文レビュー] Integral Mixabilty: a Tool for Efficient Online Aggregation of Functional and Probabilistic Forecasts.

Alexander Korotin, Vladimir V. V’yugin+1 more|arXiv (Cornell University)|Dec 15, 2019

Statistical Mechanics and Entropy参考文献 58被引用数 6

ひとこと要約

本稿では、オンライン学習における関数値予測の集約に向けた、混在可能（mixable）および指数的凸性を有する損失関数の新規な適応である「積分混在可能（integral mixability）」を導入する。主な確率的スコアリングルール、特にスライスドCRPS、エネルギー距離、スライスドウォッシャーティン-2が積分混在可能であることを証明し、レジーット最小化の理論的保証を得た効率的なオンライン集約が可能となる。

ABSTRACT

In this paper we extend the setting of the online prediction with expert advice to function-valued forecasts. At each step of the online game several experts predict a function, and the learner has to efficiently aggregate these functional forecasts into a single forecast. We adapt basic mixable (and exponentially concave) loss functions to compare functional predictions and prove that these adaptations are also mixable (exp-concave). We call this phenomena integral mixability (exp-concavity). As an application of our main result, we prove that various loss functions used for probabilistic forecasting are mixable (exp-concave). The considered losses include Sliced Continuous Ranking Probability Score, Energy-Based Distance, Optimal Transport Costs & Sliced Wasserstein-2 distance, Beta-2 & Kullback-Leibler divergences, Characteristic function and Maximum Mean Discrepancies.

研究の動機と目的

• 専門家がスカラー予測ではなく関数そのものを提供する関数値予測へのオンライン予測と専門家アドバイスの拡張。
• 最小のレジーットで関数的予測をオンラインで効率的に統合する課題に対処する。
• 関数的損失関数をオンライン集約に使用する理論的基盤を確立するため、それらの混在可能性および指数的凸性を証明する。
• 広く用いられる確率的スコアリングルールが積分混在可能であることを示し、オンライン学習フレームワークへの応用を可能にする。

提案手法

• 関数空間への統合を用いて、標準的な混在可能および指数的凸性損失関数を関数値予測に適応する。
• 積分混在可能性を、Bregman発散に基づく集約ルールがサブ線形のレジーットを持つことを保証する性質として定義する。
• 適応された損失関数が積分変換のもとでも混在可能（および指数的凸）のままであることを証明し、理論的保証を維持する。
• 特にスライスドCRPS、エネルギー距離、最適輸送に基づく発散関数などの関数的損失関数にフレームワークを適用する。
• 積分混在可能性の性質を用いて、理論的レジーットバウンドを持つオンライン集約アルゴリズムを導出する。
• 特徴関数および最大平均差（Maximum Mean Discrepancy; MMD）を用いて、特定の関数的予測クラスにおける積分混在可能性の検証を実施する。

実験結果

リサーチクエスチョン

• RQ1 標準的な混在可能および指数的凸性損失関数を、関数値予測に拡張してもその理論的性質が保たれるか。
• RQ2 関数的予測に用いられる一般的な確率的スコアリングルールのうち、どのものがある関数的損失関数として積分混在可能であるか。
• RQ3 積分混在可能性が関数的予測設定におけるサブ線形レジーットを達成する効率的オンライン集約を可能にするか。
• RQ4 積分混在可能性の性質は、スライスドウォッシャーティン-2やカルバック・ライブラーダ発散といった既存の発散関数とどのように関係しているか。
• RQ5 特徴関数およびMMDに基づく発散を用いて、非パラメトリックな関数的予測にこのフレームワークを適用できるか。

主な発見

• 本稿では、スライスド連続ランク確率スコア（Sliced CRPS）が積分混在可能であることを確立し、その結果、サブ線形のレジーット保証のもとでオンライン集約に使用可能であることを示した。
• エネルギーに基づく距離および最適輸送コスト、特にスライスドウォッシャーティン-2が積分混在可能であることが示され、オンライン学習への適用範囲が拡張された。
• 適切な関数的制約の下で、Beta-2およびカルバック・ライブラーダ発散が積分混在可能であることが証明された。
• 特徴関数および最大平均差（MMD）の使用により、非パラメトリックな設定においても積分混在可能性の検証が可能となった。
• このフレームワークにより、関数的予測のオンライン集約がサブ線形のレジーットを達成し、理論的収束保証を得ることができた。
• 標準的な損失関数を関数値設定に適応することで、効率的学習に必要な主要な性質（指数的凸性およびBregman発散との整合性）が維持された。