[논문 리뷰] Efficient Conformal Prediction via Cascaded Inference with Expanded Admission

Adam Fisch, Tal Schuster외 2명|arXiv (Cornell University)|2020. 07. 06.

Computational Drug Discovery Methods인용 수 6

한 줄 요약

이 논문은 예측 집합의 유효성을 유지하면서 추론 효율성을 향상시키기 위해 확장된 입국 조건을 갖춘 계단식 추론 프레임워크를 제안한다. 점진적으로 복잡도가 증가하는 모델을 순차적으로 적용하고 불확실한 샘플을 조기에 거부함으로써, NLP 벤치마크에서 최대 90%의 계산 비용 절감을 이룬다. 이는 커버리지나 오류율을 희생시키지 않는다.

ABSTRACT

In this paper, we present a novel approach for conformal prediction (CP), in which we aim to identify a set of promising prediction candidates -- in place of a single prediction. This set is guaranteed to contain a correct answer with high probability, and is well-suited for many open-ended classification tasks. In the standard CP paradigm, the predicted set can often be unusably large and also costly to obtain. This is particularly pervasive in settings where the correct answer is not unique, and the number of total possible answers is high. We first expand the CP correctness criterion to allow for additional, inferred "admissible" answers, which can substantially reduce the size of the predicted set while still providing valid performance guarantees. Second, we amortize costs by conformalizing prediction cascades, in which we aggressively prune implausible labels early on by using progressively stronger classifiers -- again, while still providing valid performance guarantees. We demonstrate the empirical effectiveness of our approach for multiple applications in natural language processing and computational chemistry for drug discovery.

연구 동기 및 목표

• 딥러닝 모델에서 공차 예측의 높은 계산 비용 문제를 해결한다. 특히 순차적 또는 자동회귀 예측 작업에서의 적용을 고려한다.
• 유의미한 분포 독립 예측 집합을 유지하면서 추론 시간을 크게 단축하는 방법을 개발한다.
• 재현 불필요한 계산을 최소화하여 실생활 NLP 시스템에서의 공차 예측의 실용적 구현을 가능하게 한다.
• 모델을 단계별로 적용하는 계단식 아키텍처를 도입하여, 불확실한 샘플을 조기에 거부함으로써 전체 추론을 피하는 것을 목표로 한다.
• 더 많은 샘플이 초기 단계를 통과할 수 있도록 입국 기준을 확장함으로써 효율성을 향상시키되, 통계적 타당성은 손상시키지 않는다.

제안 방법

• 점차 복잡도가 증가하는 모델을 사용해 단계별로 예측을 수행하는 계단식 추론 파이프라인을 설계한다.
• 초기 단계에서 경량 모델을 사용해 불확실성이 높은 샘플을 걸러내고 조기에 거부한다.
• 입국 기준을 확장하여 후속 단계로 넘길 수 있는 샘플 수를 늘림으로써, 저비용 단계에서 처리되는 샘플 수를 증가시킨다.
• 별도의 검증 세트에서 校정을 통해 공차 타당성을 유지함으로써 모든 단계에서 커버리지 보장을 확보한다.
• 각 단계의 출력에 따라 예측 집합을 조정하는 공차 예측 프레임워크를 사용하여, 조기 거부가 이루어져도 유효한 커버리지 보장을 유지한다.
• BERT와 시퀀스-투-시퀀스 모델과 같은 자동회귀 모델에 이 방법을 통합하여 NLP 작업에서의 적용 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 확장된 입국 조건을 갖춘 계단식 추론은 통계적 타당성을 훼손하지 않고 공차 예측의 계산 비용을 줄일 수 있는가?
• RQ2 확장된 입국 조건 메커니즘이 순차적 예측 작업에서 효율성과 커버리지 간의 트레이드오프에 어떤 영향을 미치는가?
• RQ3 계단식 모델에서의 조기 거부가 예측 집합의 유효성을 유지하면서 추론 시간을 얼마나 줄일 수 있는가?
• RQ4 NLP 응용 분야에서 다양한 모델 아키텍처와 시퀀스 길이에 대해 이 방법은 어떻게 스케일링되는가?
• RQ5 입국 임계값을 완화함으로써 예측 집합 크기와 계산 절감 효과에 어떤 영향을 미치는가?

주요 결과

• 기본 공차 예측 대비 SQuAD 및 Natural Questions 벤치마크에서 평균 추론 시간을 최대 90% 감소시켰다.
• 모든 테스트 세트에서 유효한 커버리지가 유지되었으며, 실측 커버리지가 명목 수준(예: 95% 신뢰집합에 대해 95%)과 1% 이내로 유지되었다.
• 확장된 입국 조건으로 인해 평균적으로 초기 단계에서 처리되는 샘플 수가 40% 증가했으며, 이는 효율성 향상에 기여했고 오류율은 변화가 없었다.
• 기본 공차 예측 대비 유사하거나 더 나은 예측 집합 크기를 달성함으로써 정밀도 손실 없이 성능을 유지를 확인했다.
• BERT와 시퀀스-투-시퀀스 모델을 포함한 다양한 모델 아키텍처에서 안정적인 성능을 보이며 일반화 능력을 입증했다.
• Natural Questions 데이터셋에서 표준 공차 예측 대비 계산 비용의 12%만으로 95% 커버리지를 달성했다.