[논문 리뷰] Distribution-Free Prediction Sets with Random Effects

Robin Dunn, Larry Wasserman외 1명|arXiv (Cornell University)|2018. 09. 20.

Gaussian Processes and Bayesian Inference참고 문헌 14인용 수 7

한 줄 요약

이 논문은 랜덤 효과를 가진 데이터를 다룰 수 있도록 콫포멀 예측을 확장하며, 누적분포함수 풀링, 단일 표본추출, 반복 표본추출의 세 가지 방법을 제안한다. 반복 표본추출 방법이 비교적 교환 가능하지 않은 데이터 구조에서도 타당성을 유지하면서 커버리지와 평균 예측집합 크기 사이의 최적의 균형을 달성함을 보여준다.

ABSTRACT

We consider the problem of constructing distribution-free prediction sets when there are random effects. For iid data, prediction sets can be constructed using the method of conformal prediction. The validity of this prediction set hinges on the assumption that the data are exchangeable, which is not true when there are random effects. We extend the conformal method so that it is valid with random effects. We develop a CDF pooling approach, a single subsampling approach, and a repeated subsampling approach to construct conformal prediction sets in unsupervised and supervised settings. We compare these approaches in terms of coverage and average set size. We recommend the repeated subsampling approach that constructs a conformal set by sampling one observation from each distribution multiple times. Simulations show that this approach has the best balance between coverage and average conformal set size.

연구 동기 및 목표

• 랜덤 효과로 인해 비교환 가능하지 않은 데이터에서 콕포멀 예측의 한계를 해결한다.
• 군집화 또는 계층적 구조를 띠는 데이터에서 유효한 분포 자유 예측집합을 개발한다.
• 랜덤 효과 하에서 여러 콕포멀 예측 확장 방법을 비교하여 가장 효과적인 접근법을 규명한다.
• 예측집합이 비록 비교환 가능하지 않은 데이터에서도 유효한 커버리지를 유지하면서 평균 집합 크기를 최소화한다.

제안 방법

• 군집 간 누적분포함수를 융합하여 랜덤 효과를 고려하는 누적분포함수 풀링 방법을 제안한다.
• 각 군집에서 하나의 관측치를 추출하여 군집 수준의 구조를 유지하는 단일 표본추출 방법을 도입한다.
• 각 군집에서 여러 번 관측치를 추출하여 정확도를 향상시키는 반복 표본추출 방법을 개발한다.
• 비교환 가능성이 보장되지 않는 조건에서 유효성을 유지하기 위해 비지도 및 지도 학습 설정 모두에 이러한 방법을 적용한다.
• 군집별 샘플링 전략을 통해 교환 가능성 조건을 완화한 콕포멀 예측 원리를 적용한다.
• 실제 데이터 기반 校정을 통해 유효성을 확보하여, 데이터가 비교환 가능하더라도 마진 커버리지가 유지되도록 한다.

실험 결과

연구 질문

• RQ1 랜덤 효과가 포함된 데이터에서 콕포멀 예측이 타당성을 유지할 수 있도록 확장할 수 있는가?
• RQ2 랜덤 효과 하에서 다양한 표본추출 전략은 커버리지와 평균 예측집합 크기 측면에서 어떻게 비교되는가?
• RQ3 랜덤 효과가 존재할 경우 커버리지와 집합 크기 사이의 최적 균형을 제공하는 방법은 무엇인가?
• RQ4 반복 표본추출이 누적분포함수 풀링 및 단일 표본추출보다 유효한 예측집합을 유지하는 데 더 우수한가?
• RQ5 제안된 방법들은 지도 학습과 비지도 학습 모두에서 효과적으로 적용될 수 있는가?

주요 결과

• 모의 실험에서 반복 표본추출 방법이 커버리지와 평균 예측집합 크기 사이의 최적 균형을 달성한다.
• 모든 방법에서 커버리지가 유효하게 유지되지만, 반복 표본추출 방법이 집합 크기 측면에서 더 뛰어난 효율성을 보인다.
• 누적분포함수 풀링과 단일 표본추출은 유효하지만, 반복 표본추출에 비해 평균 집합 크기가 더 크다.
• 제안된 방법들은 랜덤 효과로 인해 비교환 가능하지 않은 데이터에서도 유효한 마진 커버리지를 유지한다.
• 반복 표본추출 방법은 커버리지와 집합 크기 사이의 최적 균형을 제공하므로 실용적 적용에 권장된다.
• 모든 방법이 지도 학습과 비지도 학습 설정 모두에 적용 가능하여, 콕포멀 예측을 군집화된 데이터로 확장한다.