[논문 리뷰] Signature-Kernel Based Evaluation Metrics for Robust Probabilistic and Tail-Event Forecasting

Benjamin Redhead, Thomas L. Lee외 3명|arXiv (Cornell University)|2026. 02. 10.

Forecasting Techniques and Applications인용 수 0

한 줄 요약

논문은 Sig-MMD와 CSig-MMD를 도입한다. 이는 시그니처 커널을 이용한 커널 기반 지표로 다변량, 다단계 확률적 예측을 평가하며 꼬리 이벤트에 초점을 맞추고 properness를 보존한다.

ABSTRACT

Probabilistic forecasting is increasingly critical across high-stakes domains, from finance and epidemiology to climate science. However, current evaluation frameworks lack a consensus metric and suffer from two critical flaws: they often assume independence across time steps or variables, and they demonstrably lack sensitivity to tail events, the very occurrences that are most pivotal in real-world decision-making. To address these limitations, we propose two kernel-based metrics: the signature maximum mean discrepancy (Sig-MMD) and our novel censored Sig-MMD (CSig-MMD). By leveraging the signature kernel, these metrics capture complex inter-variate and inter-temporal dependencies and remain robust to missing data. Furthermore, CSig-MMD introduces a censoring scheme that prioritizes a forecaster's capability to predict tail events while strictly maintaining properness, a vital property for a good scoring rule. These metrics enable a more reliable evaluation of direct multi-step forecasting, facilitating the development of more robust probabilistic algorithms.

연구 동기 및 목표

• probabilistic 시계열 예측에 대한 합의된 평가 지표의 부재를 해결한다.
• 독립성을 가정하지 않고 변수 간 및 시간 간 의존성을 포착한다.
• 꼬리 이벤트에 대한 민감도를 개선하는 동시에 적절한 채점 특성을 보존한다.
• 꼬리 성능에 초점을 맞추되 적합성을 해치지 않는 검출 지표를 제공한다.
• 합성 및 실제 시계열 데이터 세트에서 효능을 입증한다.

제안 방법

• 시그니처 커널을 활용해 시계열 시퀀스를 고차원 특징 공간으로 매핑하고 최대 평균 차이(MMD)를 적용해 예측 분포와 실제 분포를 비교한다( Sig-MMD ).
• 시퀀스에 시간, 기준점 및 끝점 정보를 보강한 뒤 시그니처 커널을 적용해 시간 기하를 보존한다.
• Sig-MMD의 톤-지정 버전인 CSig-MMD를 도입하며, 꼬리 영역 밖의 질량을 Mahalanobis-거리 기반 검열 방식과 부드러운 로지스틱 가중치로 pivot 지점에 재배치한다.
• 특징적 시그니처 커널과 적절한 검열이 있을 때 CSig-MMD가 엄격한 적합성을 유지함을 증명한다.
• 합성 가우시안 프로세스와 실제 데이터 세트에서 Sig-MMD와 CSig-MMD를 표준 지표(QL, CRPS, ES, VS)와 비교하는 실험을 수행한다.
• 다수의 예측자(기초 모델 포함)에 대해 꼬리 중심 지표가 본체 중심 지표와 다른 순위를 가져오는지 평가한다.

Figure 1 : Comparison of forecast samples on Tail (Top, ERA5) and Body (Bottom, EWELD) scenarios. Top: Chronos-2, which receives the lowest score from Sig-MMD, QL, and VS, fails to predict the initial extreme spike, predicting phantom spikes later instead. In contrast, Moirai, which scores lowest on

실험 결과

연구 질문

• RQ1 시그니처-커널 기반 지표(Sig-MMD)가 독립성을 가정하지 않고 다변량 및 시간 의존성을 포착할 수 있는가?
• RQ2 꼬리-이벤트 예측에 대해 엄격한 적합 규칙을 제공하면서 평가 특성을 보존하는 검열 변형(CSig-MMD)이 있는가?
• RQ3 Sig-MMD와 CSig-MMD가 합성 및 실제 시계열 예측에서 의존성 구조와 꼬리 성능을 식별하는 데 표준 지표와 어떻게 비교되는가?
• RQ4 이들 지표가 일반 모델 및 기초모델 기반 예측기들 간의 예측자 성능 차이를 특히 꼬리 이벤트에서 드러내는가?

주요 결과

모델	QL	CRPS	ES	VS	Sig	CSig
DLinear	2 , 0 , 7	1 , 0 , 8	2 , 1 , 6	2 , 0 , 7	2 , 0 , 7	3 , 0 , 6
NLinear	1 , 1 , 7	2 , 0 , 7	3 , 1 , 5	0 , 2 , 7	1 , 2 , 6	2 , 0 , 7
PatchTST	2 , 1 , 6	2 , 1 , 6	2 , 1 , 6	4 , 0 , 5	3 , 1 , 5	2 , 0 , 7
iTransformer	1 , 0 , 8	0 , 0 , 9	0 , 1 , 8	0 , 1 , 8	0 , 0 , 9	1 , 1 , 7
TimesNet	0 , 1 , 8	1 , 0 , 8	1 , 0 , 8	1 , 0 , 8	1 , 1 , 7	0 , 1 , 8
N-HiTS	3 , 4 , 2	3 , 0 , 6	1 , 2 , 6	1 , 0 , 8	2 , 1 , 6	1 , 2 , 6
NSTransformer	0 , 1 , 8	0 , 0 , 9	0 , 0 , 9	1 , 0 , 8	0 , 0 , 9	0 , 0 , 9
Naive Seasonal	0 , 0 , 9	0 , 0 , 9	0 , 0 , 9	0 , 0 , 9	0 , 0 , 9	0 , 0 , 9

• Sig-MMD와 CSig-MMD는 독립성 가정 없이 예측 기간에 걸친 결합 분포를 성공적으로 평가한다.
• 꼬리 검열이 있는 CSig-MMD는 엄격한 적합성을 유지하여 꼬리 이벤트에 초점을 둔 공정한 평가를 보장한다.
• Sig-MMD는 CRPS, ES, QL이 놓치는 시간 간, 변수 간 의존성을 탐지한다.
• CSig-MMD는 꼬리 성능에 집중하고 합성 및 실제 실험에서 예측자들의 꼬리 예측 능력을 구분한다.
• ETT, Weather, Exchange, Illness, EWELD, ERA5 데이터셋 및 기초 모델에 대한 실험은 CSig-MMD와 Sig-MMD가 표준 지표와 다른 순위를 제공하여 꼬리 인식 관점을 부각시킨다.

Figure 2 : The censoring process redistributes the probability mass from the body of the distribution (grey) to the Signature of the zero-path, while preserving the probability mass inside the target region (blue) which represents the tails of the distribution.