[論文レビュー] Signature-Kernel Based Evaluation Metrics for Robust Probabilistic and Tail-Event Forecasting

Benjamin Redhead, Thomas L. Lee+3 more|arXiv (Cornell University)|Feb 10, 2026

Forecasting Techniques and Applications被引用数 0

ひとこと要約

論文は Sig-MMD と CSig-MMD を導入し、固有性を保ちつつ尾部イベントを重視する多変量・多ステップ確率予測を評価するカーネルベース指標である。

ABSTRACT

Probabilistic forecasting is increasingly critical across high-stakes domains, from finance and epidemiology to climate science. However, current evaluation frameworks lack a consensus metric and suffer from two critical flaws: they often assume independence across time steps or variables, and they demonstrably lack sensitivity to tail events, the very occurrences that are most pivotal in real-world decision-making. To address these limitations, we propose two kernel-based metrics: the signature maximum mean discrepancy (Sig-MMD) and our novel censored Sig-MMD (CSig-MMD). By leveraging the signature kernel, these metrics capture complex inter-variate and inter-temporal dependencies and remain robust to missing data. Furthermore, CSig-MMD introduces a censoring scheme that prioritizes a forecaster's capability to predict tail events while strictly maintaining properness, a vital property for a good scoring rule. These metrics enable a more reliable evaluation of direct multi-step forecasting, facilitating the development of more robust probabilistic algorithms.

研究の動機と目的

• probabilistic time-series forecasting のコンセンサス評価指標の欠如に対処する。
• 独立性を仮定せず、変数間および時系列間の依存関係を捉える。
• 尾部イベントに対する感度を高めつつ、適切なスコアリング特性を保つ。
• 尾部性能に焦点を当てつつ適切性を損なわない検閲付き指標を提供する。
• 合成データおよび実世界の時系列データセットでの有効性を示す。

提案手法

• 時系列列を高次元の特徴空間へ写像するシグネチャー・カーネルを利用し、最大平均差異（MMD）を適用して予測分布と真値分布を比較する（Sig-MMD）。
• 時間軸幾何を保存するために、シグネチャー・カーネルを適用する前に時刻情報、基準点情報、および終点情報で系列を拡張する。
• Sig-MMD の尾部領域外の質量をピボット点へ再配分する拡張版として、マハラノビス距離ベースの検閲スキームとソフトロジスティックウェイトを用いた検閲を行う、CSig-MMD（Sig-MMD の検閲版）を導入する。
• 特性シグネチャー・カーネルと適切な検閲を用いれば CSig-MMD は厳密に適切であり続けることを証明する。
• 合成ガウス過程および実世界データセットを用いて、標準指標（QL、CRPS、ES、VS）に対して Sig-MMD と CSig-MMD を比較する実験を行う。
• 複数の予測モデル（基盤モデルを含む）を評価し、尾部重視の指標が体部重視の指標と異なるランキングを示すことを示す。

Figure 1 : Comparison of forecast samples on Tail (Top, ERA5) and Body (Bottom, EWELD) scenarios. Top: Chronos-2, which receives the lowest score from Sig-MMD, QL, and VS, fails to predict the initial extreme spike, predicting phantom spikes later instead. In contrast, Moirai, which scores lowest on

実験結果

リサーチクエスチョン

• RQ1 シグネチャー・カーネルベースの指標（Sig-MMD）は、独立性を仮定せずに多変量および時系列間の依存性を確保しつつ確率予測を捉えられるか。
• RQ2 検閲付きバリアント（CSig-MMD）は尾部イベント予測の厳密な適切性を保ちつつ、モデル評価の特性を保持できるか。
• RQ3 Sig-MMD と CSig-MMD は、合成および実世界の時系列予測において依存性構造と尾部性能の特性を標準指標と比較してどのように識別するか。
• RQ4 伝統的な予測手法と基盤モデルベースの予測手法の間で、尾部イベントに特に対して予測者の性能の違いを明らかにできるか。

主な発見

Model	QL	CRPS	ES	VS	Sig	CSig
DLinear	2 , 0 , 7	1 , 0 , 8	2 , 1 , 6	2 , 0 , 7	2 , 0 , 7	3 , 0 , 6
NLinear	1 , 1 , 7	2 , 0 , 7	3 , 1 , 5	0 , 2 , 7	1 , 2 , 6	2 , 0 , 7
PatchTST	2 , 1 , 6	2 , 1 , 6	2 , 1 , 6	4 , 0 , 5	3 , 1 , 5	2 , 0 , 7
iTransformer	1 , 0 , 8	0 , 0 , 9	0 , 1 , 8	0 , 1 , 8	0 , 0 , 9	1 , 1 , 7
TimesNet	0 , 1 , 8	1 , 0 , 8	1 , 0 , 8	1 , 0 , 8	1 , 1 , 7	0 , 1 , 8
N-HiTS	3 , 4 , 2	3 , 0 , 6	1 , 2 , 6	1 , 0 , 8	2 , 1 , 6	1 , 2 , 6
NSTransformer	0 , 1 , 8	0 , 0 , 9	0 , 0 , 9	1 , 0 , 8	0 , 0 , 9	0 , 0 , 9
Naive Seasonal	0 , 0 , 9	0 , 0 , 9	0 , 0 , 9	0 , 0 , 9	0 , 0 , 9	0 , 0 , 9

• Sig-MMD と CSig-MMD は、独立性仮定なしに予測期間の結合分布を評価することに成功した。
• 尾部検閲を伴う CSig-MMD は厳密に適切であり、尾部イベントに焦点を当てた公正な評価を保証する。
• Sig-MMD は CRPS、ES、QL が見逃す時系列間・変数間の依存性を検出する。
• CSig-MMD は尾部性能に集中し、合成データおよび実世界の実験で予測者の尾部予測能力を区別する。
• 実験データセット（ETT、Weather、Exchange、Illness、EWELD、ERA5）および基盤モデルの結果は、CSig-MMD と Sig-MMD が標準指標と異なるランキングを提供し、尾部を意識した洞察を強調した。

Figure 2 : The censoring process redistributes the probability mass from the body of the distribution (grey) to the Signature of the zero-path, while preserving the probability mass inside the target region (blue) which represents the tails of the distribution.