[논문 리뷰] Exchangeability, Conformal Prediction, and Rank Tests

Arun Kumar Kuchibhotla|arXiv (Cornell University)|2020. 05. 13.

Bayesian Methods and Mixture Models참고 문헌 78인용 수 7

한 줄 요약

이 논문은 교환 가능성(conformal prediction와 비모수적 순위 검정을 통합하는 데 핵심적인 개념)을 통해 두 방법이 분포 가정 없이 유한 표본 검증을 달성할 수 있음을 보여주며, 교환 가능한 랜덤 변수 하에서 순위의 균일성을 활용함으로써 이론적 기반을 구축한다. 주요 기여는 교환 가능성 덕분에 예측 및 가설 검정 모두에서 임의의 차원 공간에서도 분포 자유 추론이 가능하다는 점을 보여주며, 이는 예측 또는 검정 알고리즘을 둘러싸는 래퍼(wrapper)로서의 접근 방식을 통해 이루어진다.

ABSTRACT

Conformal prediction has been a very popular method of distribution-free predictive inference in recent years in machine learning and statistics. Its popularity stems from the fact that it works as a wrapper around any prediction algorithm such as neural networks or random forests. Exchangeability is at the core of the validity of conformal prediction. The concept of exchangeability is also at the core of rank tests widely known in nonparametric statistics. In this paper, we review the concept of exchangeability and discuss the implications for conformal prediction and rank tests. We provide a low-level introduction to these topics, and discuss the similarities between conformal prediction and rank tests.

연구 동기 및 목표

• 교환 가능성의 역할을 분포 자유 통계적 추론의 통합 원리로 명확히 하기.
• 다른 응용 분야를 가진 두 방법—conformal prediction와 비모수적 순위 검정—이 교환 가능성에 의해 어떻게 뒷받침되는지 보여주기.
• 교환 가능성과 데이터 기반 변환을 활용해 순위 검정을 임의의 차원 및 비수치 데이터 공간으로 확장하기.
• 교환 가능성 하에서 순위의 균일성에 기반해 conformal prediction와 순위 검정의 유한 표본 검증성을 강조하기.
• 분할 기반 conformal 방법과 데이터 기반 순위 검정에서 통계적 효율성과 검정력에 대한 열린 질문들을 규명하기.

제안 방법

• 모든 색인 순열에 대해 공동 분포가 변하지 않는 것으로 교환 가능성을 정의하며, 이는 실수 값을 갖는 교환 가능한 변수의 순위가 모든 순열에 대해 균일하게 분포함을 의미한다.
• 교환 가능성을 활용해, 기저 예측 알고리즘이 무엇이든 간에 유한 표본 검증 가능한 예측 영역으로서 conformal 예측 간격의 타당성을 정당화한다.
• 동일한 교환 가능성 원리를 적용하여 분포 자유이고 유한 표본에서 유효한 순위 기반 가설 검정(예: 분포의 동일성 또는 독립성 검정)을 구축한다.
• 차원 감소를 위해 데이터 기반 변환(예: 표본 분할 포함)을 도입하여 순위 검정을 임의의 공간으로 확장하면서도 교환 가능성과 유형 I 오류 통제를 유지한다.
• 표본 분할 또는 한 개를 제외한 구성(leave-one-out)과 같은 적절한 방법을 사용할 경우, 데이터 의존적 변환도 교환 가능성을 유지할 수 있음을 보여준다.
• conformal 예측과 순위 검정을 임의의 알고리즘을 둘러싼 래퍼로 프레임하여, 교환 가능성 하에서의 강건성과 일반성을 강조한다.

실험 결과

연구 질문

• RQ1 교환 가능성은 분포 가정 없이 유한 표본 검증성을 확보하는 conformal 예측에서 어떻게 작용하는가?
• RQ2 다변량 또는 비수치 데이터에 대한 순위 검정은 교환 가능성 덕분에 어떻게 유형 I 오류 통제를 유지하는가?
• RQ3 순위 검정에서의 데이터 기반 변환은 교환 가능성을 유지할 수 있으며, 이는 유한 표본 검증성을 보장하는가?
• RQ4 분할 기반 conformal 예측과 표본 분할 기반 순위 검정에서 통계적 효율성과 검증성 간의 상충 관계는 무엇인가?
• RQ5 데이터 기반 변환을 사용할 경우, 교환 가능성 기반 추론에서 검정력을 어떻게 향상시킬 수 있는가?

주요 결과

• 교환 가능성은 실수 값을 갖는 교환 가능한 랜덤 변수의 순위가 모든 순열에 대해 균일하게 분포함을 보장하며, 이는 conformal 예측과 순위 검정이 모두 작동하는 핵심 메커니즘이다.
• conformal 예측은 기저 예측 알고리즘이 신경망이나 랜덤 포레스트와 같은 어떤 것이라도 간에 교환 가능성을 활용하여 유한 표본 검증 가능한 예측 영역을 달성한다.
• 분포의 동일성 및 독립성 검정을 위한 순위 검정은 교환 가능성에 기반할 경우 고차원 또는 비수치 공간에서도 여전히 유한 표본 검증 가능하고 분포 자유이다.
• 표본 분할 기반 변환을 포함한 데이터 기반 변환은 교환 가능성을 유지할 수 있으며, 이는 순위 검정에서의 유한 표본 유형 I 오류 통제를 유지한다.
• 분할 conformal 방법은 데이터 분할으로 인해 통계적 효율성이 낮지만, 미약한 조건 하에서 점차적으로 최적의 예측 영역으로 수렴할 수 있다.
• 특히 차원의 극복 문제와 무 supervision 추정 제약 조건으로 인해, 데이터 적응형 변환을 사용할 경우 conformal 예측과 순위 검정에서 검정력 최적화에 대한 열린 문제들이 남아 있다.