[논문 리뷰] Regression with reject option and application to kNN

Christophe Denis, Mohamed Hebiri외 1명|arXiv (Cornell University)|2020. 06. 30.

Statistical Methods and Inference참고 문헌 4인용 수 7

한 줄 요약

이 논문은 조건부 분산으로 측정된 불확실성이 임계값을 초과할 경우 예측을 기피하는 통계적으로 타당한 회귀 프레임워크를 제안한다. 예측 불확실성은 조건부 분산으로 측정되며, 이는 예측의 신뢰도가 낮을 경우 기피를 가능하게 한다. 이는 라벨이 부여된 데이터를 사용하여 회귀 및 분산 함수를 추정하는 두 단계 절차를 도입하고, 라벨이 없는 데이터를 사용하여 기각 비율을 校정함으로써 kNN과 함께 거의 최적의 성능을 달성하며, 미약한 조건 하에서 수렴 속도를 도출한다.

ABSTRACT

We investigate the problem of regression where one is allowed to abstain from predicting. We refer to this framework as regression with reject option as an extension of classification with reject option. In this context, we focus on the case where the rejection rate is fixed and derive the optimal rule which relies on thresholding the conditional variance function. We provide a semi-supervised estimation procedure of the optimal rule involving two datasets: a first labeled dataset is used to estimate both regression function and conditional variance function while a second unlabeled dataset is exploited to calibrate the desired rejection rate. The resulting predictor with reject option is shown to be almost as good as the optimal predictor with reject option both in terms of risk and rejection rate. We additionally apply our methodology with kNN algorithm and establish rates of convergence for the resulting kNN predictor under mild conditions. Finally, a numerical study is performed to illustrate the benefit of using the proposed procedure.

연구 동기 및 목표

• 의료 진단과 같이 잘못된 예측이 해로울 수 있는 고위험도 회귀 시나리오를 다루기 위해.
• 통계적으로 타당한 방법을 개발하여 기각 비율을 제어할 수 있도록 하며, 예측 신뢰도가 낮을 경우 기피할 수 있도록 한다.
• 분류에서의 기각 옵션 프레임워크를 조건부 분산을 불확실성 측정 도구로 활용하여 회귀로 확장한다.
• 모든 회귀 추정기(예: kNN 포함)에 적용 가능한 일반적이고 플러그인 호환성 있는 절차를 제공한다.
• 최소한의 부드러움 조건 하에서 kNN 기반 예측기의 수렴 속도를 도출한다.

제안 방법

• 예측 불확실성의 척도로 조건부 분산 함수를 사용하여 기각 옵션을 갖는 최적의 예측기를 유도한다.
• 두 단계 추정 절차를 제안한다: 첫째, 라벨이 부여된 데이터 세트에서 회귀 및 조건부 분산 함수를 추정한다; 둘째, 고정된 기각 비율을 만족시키기 위해 라벨이 없는 데이터를 사용하여 기각 임계값을 校정한다.
• 이 방법은 반감독 접근법을 사용하며, 라벨이 있는 데이터로 모델 추정을 수행하고, 라벨이 없는 데이터로 기각 비율 제어를 수행한다.
• 이 절차가 위험도와 기각 비율 측면에서 최적의 예측기와 渐近적으로 동일한 성능을 보임을 보였다.
• kNN의 경우, 회귀 함수와 분산 함수에 대한 미약한 정규성 조건 하에서 최종 예측기의 수렴 속도를 확립하였다.
• 이론적 분석은 테일 확률 경계, 몰입 기법(Peeling arguments), 무거운 尾 꼬리 확률 변수의 모멘트 경계, 워샤프스키 거리(Wasserstein distance) 표현 등 다양한 도구를 활용한다.

실험 결과

연구 질문

• RQ1 고정된 기각 비율을 갖는 회귀의 최적 규칙은 무엇이며, 이를 조건부 분산 함수로 어떻게 표현할 수 있는가?
• RQ2 최적의 기각 옵션 예측기를 근사화할 수 있는 실용적이고 계산 효율적인 절차는 어떻게 설계할 수 있는가?
• RQ3 제안된 방법이 위험도와 기각 비율 측면에서 최적의 예측기와 거의 동일한 성능을 달성할 수 있는가?
• RQ4 제안된 기각 옵션 프레임워크 하에서 kNN 기반 예측기의 수렴 속도는 어떤가?
• RQ5 실제로 이 방법은 표준 회귀 분석과 비교하여 어떤 성능을 보이는가, 특히 고불확실성 영역에서 기피 전략이 효과적인가?

주요 결과

• 고정된 기각 비율을 갖는 최적의 예측기는 기대 기각 비율에 따라 결정되는 수준에서 조건부 분산 함수를 임계값으로 설정하는 것과 동치임을 입증하였다.
• 제안된 두 단계 절차는 미약한 가정 하에서 최적의 예측기와 거의 구분할 수 없을 정도로 위험도와 기각 비율 성능을 달성한다.
• 기각 옵션을 갖는 kNN 기반 예측기는 위험도에 대해 순서 $ n^{-(eta+1)/(d+2)} $ 의 수렴 속도를 확보한다. 여기서 $ \beta $ 는 회귀 함수의 부드러움 파라미터이다.
• 이전 연구와 달리, 이 방법은 마진 유형의 가정이나 추정기의 강한 부드러움 조건을 요구하지 않아 더 넓은 적용 가능성을 지닌다.
• 수치 실험을 통해 기피 전략이 고불확실성 영역에서 성능 향상에 기여함을 입증하였다.
• 고급 도구를 활용한 이론적 보장이 확립되었으며, 예를 들어 꼬리 확률 경계와 페일링 기법을 사용하여 유한 표본 설정에서의 강건성을 확보하였다.