[논문 리뷰] Computing Full Conformal Prediction Set with Approximate Homotopy

Eugène Ndiaye, Ichiro Takeuchi|arXiv (Cornell University)|2019. 09. 20.

Machine Learning and Algorithms인용 수 4

한 줄 요약

이 논문은 일반적인 회귀 모델에 대해 정규화된 경험 위험 최소화 문제의 해를 유한한 오차 범위 내에서 근사함으로써 전체 동형 예측 집합을 효율적으로 계산하기 위한 효율적인 호모토피 연속 방법을 제안한다. 이 방법은 유한한 수의 모델 피팅만으로도 근사적으로 정확한 동형 예측을 가능하게 하며, 근사 허용 오차가 감소함에 따라 정확한 집합으로 수렴함으로써 계산 효율성과 강력한 커버리지 보장을 동시에 확보한다.

ABSTRACT

If you are predicting the label $y$ of a new object with $\hat y$, how confident are you that $y = \hat y$? Conformal prediction methods provide an elegant framework for answering such question by building a $100 (1 - α)\%$ confidence region without assumptions on the distribution of the data. It is based on a refitting procedure that parses all the possibilities for $y$ to select the most likely ones. Although providing strong coverage guarantees, conformal set is impractical to compute exactly for many regression problems. We propose efficient algorithms to compute conformal prediction set using approximated solution of (convex) regularized empirical risk minimization. Our approaches rely on a new homotopy continuation technique for tracking the solution path with respect to sequential changes of the observations. We also provide a detailed analysis quantifying its complexity.

연구 동기 및 목표

• 일반적인 회귀 문제에서 정확한 전체 동형 예측이 계산적으로 불가능한 이유는 모든 가능한 레이블에 대해 무한히 많은 모델을 피팅해야 하기 때문이다.
• 제어 가능한 오차를 갖는 유한한 수의 모델 피팅을 통해 동형 예측 집합을 근사화하는 확장 가능한 방법을 개발한다.
• 약한 i.i.d. 및 대칭성 가정 하에 결과 예측 집합이 유효한 커버리지 성질을 유지하도록 보장한다.
• 볼록이고 정규화된 회귀 추정기의 이론적 복잡도 상한과 실용적 효율성을 제공한다.
• 고정밀 최적화가 near-optimal 예측 집합을 얻기 위해 필수적인지 여부를 규명한다.

제안 방법

• 새로운 테스트 점의 레이블이 변화함에 따라 정규화된 위험 최소화 문제의 근사 해를 추적하는 새로운 호모토피 연속 기법을 도입한다.
• 손실 함수의 규칙성을 활용하여 새로운 데이터 기반 최적화 오차의 변동을 제한함으로써 효율적인 업데이트를 가능하게 한다.
• 후보 레이블의 유한한 격자 $ z \in [y_{\min}, y_{\max}] $ 를 사용하여 전체 해 경로를 근사하며, 부드러운 손실 함수의 경우 필요한 피팅 수가 $ O(1/\sqrt{\epsilon}) $ 에 비례한다.
• 근사 잔차를 기반으로 예측 집합을 구성하며, $ \epsilon $-해에서 유도된 오차 한계를 반영해 양자수 기반의 적합성 점수를 조정한다.
• 펜첼-레지오르드 이중성과 이중성 갭 분석을 활용하여 근사 오차를 제어하고 커버리지 유효성을 보장한다.
• 선형 및 비선형 모델, 즉 릿지, 라소, 그리고 로그코시와 린엑스와 같은 비제곱형 손실 함수에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 모든 가능한 레이블에 대해 정확한 재피팅 없이도 일반적인 볼록 회귀 모델에 대해 전체 동형 예측 집합을 효율적으로 계산할 수 있는가?
• RQ2 모델 피팅의 근사 오차가 결과 예측 집합의 커버리지와 크기에 미치는 영향은 어떠한가?
• RQ3 제한된 오차를 갖는 호모토피 연속을 사용하여 동형 집합을 근사할 때 이론적 복잡도는 어떠한가?
• RQ4 제안된 방법은 최적해가 아닌 해를 사용하더라도 유효한 커버리지를 유지하는가? 그리고 분할 기반 접근법과 비교해 봤을 때 어떤가?
• RQ5 고정밀 최적화는 예측 집합 품질을 얼마나 향상시키며, 언제 필요하지 않은가?

주요 결과

• 제안된 방법은 모든 테스트된 $ \epsilon $ 수준에서 근사적으로 정확한 성능(예: $ \alpha = 0.1 $ 일 때 0.92)을 보이며, 오라클 성능과 일치한다.
• 예측 집합 길이는 $ \epsilon $ 가 증가함에 따라도 분할 기반 방법보다 일관되게 짧아지며, 더 좁은 간격을 제공한다.
• 계산 시간은 $ \epsilon $ 에 비례하며, 보스턴 데이터셋에서 $ \epsilon = 10^{-8} $ 일 때 약 37초가 소요되나, 중간 수준의 $ \epsilon $ 에서는 여전히 실용적이다.
• 부드러운 손실 함수의 경우 필요한 모델 피팅 수는 $ O(1/\sqrt{\epsilon}) $ 이며, 전체 해 경로의 효율적 근사가 가능하다.
• 근사 오차 $ \epsilon \to 0 $ 으로 갈수록 정확한 동형 집합으로 수렴하며, 규칙성 조건 하에 근사 집합은 정확한 집합을 포함한다.
• 고정밀 최적화는 성능 향상에 기여가 미미하다. $ \epsilon = 10^{-2} $ 일 때 예측 집합의 길이와 커버리지는 이미 정확한 집합과 매우 유사하다.