[論文レビュー] Conformal Blindness: A Note on $A$-Cryptic change-points

Johan Hallberg Szabadváry|arXiv (Cornell University)|Jan 3, 2026

Statistical Methods and Inference被引用数 0

ひとこと要約

この論文は、理想的な予測オラクル適合性指標を用いた場合でも、整合性検定マーティングルが特定の分布シフト（A-cryptic change-points）に盲目になる可能性を示しており、二変量ガウス分布の平均の直線を用いた示例で示される。

ABSTRACT

Conformal Test Martingales (CTMs) are a standard method within the Conformal Prediction framework for testing the crucial assumption of data exchangeability by monitoring deviations from uniformity in the p-value sequence. Although exchangeability implies uniform p-values, the converse does not hold. This raises the question of whether a significant break in exchangeability can occur, such that the p-values remain uniform, rendering CTMs blind. We answer this affirmatively, demonstrating the phenomenon of \emph{conformal blindness}. Through explicit construction, for the theoretically ideal ``predictive oracle'' conformity measure (given by the true conditional density), we demonstrate the possibility of an \emph{$A$-cryptic change-point} (where $A$ refers to the conformity measure). Using bivariate Gaussian distributions, we identify a line along which a change in the marginal means does not alter the distribution of the conformity scores, thereby producing perfectly uniform p-values. Simulations confirm that even a massive distribution shift can be perfectly cryptic to the CTM, highlighting a fundamental limitation and emphasising the critical role of the alignment of the conformity measure with potential shifts. By contrasting the predictive oracle with recent results on detection-optimal scores, we emphasise that validity monitoring in safety-critical systems requires careful separation of predictive and diagnostic goals.

研究の動機と目的

• CTMsを用いた交換可能性の監視における適合予測の制限を説明する。
• 平均シフト後にもp値が一様になるA-cryptic change-pointsを定義・構成する。
• 予測オラクル適合性指標が周辺平均シフトに盲目になり得る様子を示す。
• 信頼性監視への示唆と適合性指標選択の役割を論じる。

提案手法

• 二変量ガウス分布Q0上で適合性指標A(x,y)=f_{Y|X}(y|x)を用いる。
• 変更後の分布Q1が適合スコア分布を保ち、p値が一様のままになる条件を導出する。
• XとYの平均の変化が条件付き分布に影響を与えないR^2上の直線を同定し、A-crypticな変化を作る。
• 非暗号化シフトとA-crypticシフトを比較する illustrative simulations を提供し、CTMの挙動を比較する。
• 頑健性と複数の適合性変換器に関する実用的な対策と未解決の問題を論じる。

実験結果

リサーチクエスチョン

• RQ1 A-cryptic change-pointsは特定の適合性測度Aに対して存在しうるか。どのような条件で存在するか。
• RQ2 予測オラクル適合性測度は潜在的な分布シフトとどのように相互作用してp値を一様に保つか。
• RQ3 Conformal法を用いた安全 critical 系の監視における実務的含意は。
• RQ4 適合性測度を組み合わせる等の対策（ensemble適合性測度）は過度な統計コストを伴わずにConformal Blindnessを軽減できるか。

主な発見

• 予測オラクル適合性測度は、特定の直線上の大幅な平均シフト後にも一様なp値を生み出し、CTMsを変化に盲目にする可能性がある。
• XとYの平均の変化が比例関係をとることで特徴づけられるA-crypticシフトの直線が存在する。
• 非暗号化シフトはp値分布を歪ませ、CTMsは変化を検出するのに対し、A-crypticシフトでは検出されない。
• CTMsは交換可能性の崩れの一部のみを監視しており、それらはp値の一様性に影響を与える場合に限られる。
• 予測的およびマハラノビス距離ベースのスコアを組み合わせる等のアンサンブル適合性測度は、いくつかのケースで検出を回復できる。
• A-cryptic条件の特徴付けと適合性測度間のその広がりについて、今後の開放的な問いが提起されている。