[논문 리뷰] Conformal Blindness: A Note on $A$-Cryptic change-points

Johan Hallberg Szabadváry|arXiv (Cornell University)|2026. 01. 03.

Statistical Methods and Inference인용 수 0

한 줄 요약

요지: 이 논문은 이상적 예측 오라클 적합도 측정치를 사용하더라도 특정 분포 변화(A-cryptic 변화점)에 대해 콘포멀 테스트 마팅이 눈치채지 못할 수 있음을 보인다. 이는 이변 가우시안에서 평균 변화의 직선을 통해 시연된다.

ABSTRACT

Conformal Test Martingales (CTMs) are a standard method within the Conformal Prediction framework for testing the crucial assumption of data exchangeability by monitoring deviations from uniformity in the p-value sequence. Although exchangeability implies uniform p-values, the converse does not hold. This raises the question of whether a significant break in exchangeability can occur, such that the p-values remain uniform, rendering CTMs blind. We answer this affirmatively, demonstrating the phenomenon of \emph{conformal blindness}. Through explicit construction, for the theoretically ideal ``predictive oracle'' conformity measure (given by the true conditional density), we demonstrate the possibility of an \emph{$A$-cryptic change-point} (where $A$ refers to the conformity measure). Using bivariate Gaussian distributions, we identify a line along which a change in the marginal means does not alter the distribution of the conformity scores, thereby producing perfectly uniform p-values. Simulations confirm that even a massive distribution shift can be perfectly cryptic to the CTM, highlighting a fundamental limitation and emphasising the critical role of the alignment of the conformity measure with potential shifts. By contrasting the predictive oracle with recent results on detection-optimal scores, we emphasise that validity monitoring in safety-critical systems requires careful separation of predictive and diagnostic goals.

연구 동기 및 목표

• 콘포멀 예측에서 CTMs를 통한 교환성(monitored exchangeability)의 한계를 설명한다.
• 평가 후 변화에서도 p-값이 균일하게 남는 A-cryptic 변화점을 정의하고 구성한다.
• 예측 오라클 적합도(A(x,y)=f_{Y|X}(y|x))가 주변 평균 변화에 대해 어떻게 눈먼 것처럼 보일 수 있는지 보여준다.
• 신뢰성 모니터링에 대한 시사점과 적합도 측정의 선택 역할에 대해 논의한다.

제안 방법

• 이변 가우시안 Q0에서 예측 오라클 적합도 A(x,y)=f_{Y|X}(y|x)를 사용한다.
• 변경 후 분포 Q1이 적합도-점수 분포를 보존하도록 하는 조건을 도출하여 p-값이 균일하게 남는 경우를 보인다.
• X와 Y의 평균 변화 간의 비례 관계로 특징지어지는 R^2에서의 직선을 식별하여 A-cryptic 변화를 만든다.
• 비크립틱(Non-cryptic) 변화와 A-cryptic 변화의 CTM 동작을 비교하는 예시 시뮬레이션을 제시한다.
• 견고성 및 다중 적합도 변환기와 관련된 실용적 해결책과 남은 질문들을 논의한다.

실험 결과

연구 질문

• RQ1 주어진 적합도 A에 대해 A-cryptic 변화점이 존재할 수 있으며 어떤 조건에서 그런가?
• RQ2 예측 오라클 적합도 측정이 분포 변화가 있을 때 p-값의 보존과 어떤 상호작용을 하는가?
• RQ3 안전-중요 시스템의 모니터링에 대해 콘포멀 방법이 가진 실용적 시사점은 무엇인가?
• RQ4 적합도 측정의 다합성(ensemble)과 같은 방법이 과도한 통계적 비용 없이 콘포멀 맹목성을 완화할 수 있는가?

주요 결과

• 예측 오라클 적합도는 특정 직선을 따라 평균이 크게 변하더라도 p-값이 균일하게 유지될 수 있어 CTM이 변화를 눈치채지 못하게 한다.
• X와 Y의 평균 변화 간의 비례 관계로 특징지어지는 A-cryptic 변화의 전체 직선이 존재한다.
• Non-cryptic 변화는 왜곡된 p-값 분포를 만들어 CTM이 변화를 탐지하는 반면, A-cryptic 변화는 그렇지 않다.
• 논문은 CTM이 교환성의 breaks 중 p-value 균일성에 영향을 주는 부분집합만 모니터링한다는 것을 보여준다.
• 예측 기반과 Mahalanobis 거리스코어를 결합하는 등 적합도 측정의 앙상블이 일부 사례에서 탐지를 회복시킬 수 있다.
• A-cryptic 조건의 특징화와 다양한 적합도 측정 간의 보편성에 대한 미해결 질문들이 제기된다.