[論文レビュー] Calibrated Multivariate Distributional Regression with Pre-Rank Regularization

Aya Laajil, Elnura Zhalieva+2 more|arXiv (Cornell University)|Jan 30, 2026

Forecasting Techniques and Applications被引用数 0

ひとこと要約

その論文は、多変量校正をトレーニング時に実現する differentiable pre-rank ベースの正則化を導入し、新規の PCA ベース pre-rank を含む分布回帰モデルの多変量校正を改善し、予測精度を損なうことなく 18 の実世界データセットでの多変量校正を向上させる。

ABSTRACT

The goal of probabilistic prediction is to issue predictive distributions that are as informative as possible, subject to being calibrated. Despite substantial progress in the univariate setting, achieving multivariate calibration remains challenging. Recent work has introduced pre-rank functions, scalar projections of multivariate forecasts and observations, as flexible diagnostics for assessing specific aspects of multivariate calibration, but their use has largely been limited to post-hoc evaluation. We propose a regularization-based calibration method that enforces multivariate calibration during training of multivariate distributional regression models using pre-rank functions. We further introduce a novel PCA-based pre-rank that projects predictions onto principal directions of the predictive distribution. Through simulation studies and experiments on 18 real-world multi-output regression datasets, we show that the proposed approach substantially improves multivariate pre-rank calibration without compromising predictive accuracy, and that the PCA pre-rank reveals dependence-structure misspecifications that are not detected by existing pre-ranks.

研究の動機と目的

• marginals の校正だけでなく、校正された多変量予測分布の必要性を動機づける。
• トレーニング中に選択された pre-rank 関数に対する校正を実現する微分可能な正則化項を開発する。
• 予測分布の主成分方向に沿った校正を検出・強化する PCA ベースの pre-rank を導入する。
• シミュレーションと 18 の実世界データセットを通じて、正則化が予測性能を低下させずに多変量校正を改善することを実証する。

提案手法

• pre-rank 関数を定義して、多変量校正を射影 PITs によるスカラー検査へと還元する。
• 射影 PITs のカーネル平滑化経験的CDF（PCE-KDE）に基づく微分可能な正則化を提案し、非一様性を罰する。
• 固定グリッド上の Z_rho の一様性からのずれを罰する正則化項をトレーニング目的に追加する。
• 予測分布の主成分方向の leading principal components に Y を射影して依存構造のミススペックを検出する新しい PCA ベースの pre-rank を導入する。
• 既存のポストハック校正概念（HDR、コプラ）をトレーニング時の pre-rank 関数に適応して、より広い校正検査を行う。
• 効率的計算のためのエンドツーエンドのトレーニングアルゴリズム（Algorithm 1）と、効率的な計算のための PCA pre-rank（Algorithm 2）を提供する。

Figure 1 : Marginal calibration is insufficient for multivariate predictive distributions. (Bottom) The model is well-calibrated marginally (per-dimension densities and PIT curves) yet fails to capture dependence, as shown by the mismatch in sample geometry and the strongly miscalibrated Dependency

実験結果

リサーチクエスチョン

• RQ1 distributional regression モデルのトレーニング中にどのように多変量校正を強制できるか。
• RQ2 どの pre-rank 関数が多変量予測の異なる形のミス校正を最もよく検出するか。
• RQ3 pre-rank ベースの正則化は、予測精度を損なうことなく校正を改善するか。
• RQ4 PCA ベースの pre-rank は他の pre-rank が検出できない依存構造のミススペックを明らかにするか。
• RQ5 校正されたモデルは、正則化しないベースラインと比較して現実世界の多出力回帰タスクでどのように性能を発揮するか。

主な発見

• 選択された pre-rank に対して正則化は確率的校正誤差（PCE）を大幅に低減する。
• 正則化されたモデルは pre-rank 全体で校正を改善し、予測性能（NLL およびエネルギー距離）を同等またはそれ以上維持する。
• PCA pre-rank は他の pre-rank が検出できない依存構造のミススペックを検出し、その補完的価値を強調する。
• 18 の実世界データセットにおいて、pre-rank 正則化は予測精度を劣化させることなく一貫して多変量校正を改善する。
• アプローチは柔軟で、異なる pre-rank を用いて、周辺分布、依存、HDR/コプラベースの検査など、さまざまな校正要素をターゲットにできる。

(a) Marginal