[논문 리뷰] Calibrated Reliable Regression using Maximum Mean Discrepancy

Peng Cui, Wenbo Hu외 1명|arXiv (Cornell University)|2020. 06. 01.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 예측 분포와 진짜 분포 간의 커널 임베딩 이질성을 최소화하기 위해 최대 평균 차이(MMD)를 사용하는 校정된 회귀 방법을 제안한다. 이로 인해 점점 증가하는 표본 크기에서 점점 0에 수렴하는 校정 오차를 달성한다. 실험 결과, 실제 데이터셋에서 기존 최고 수준의 방법들을 능가하는 잘 校정된, 날카로운 예측 구간을 생성한다.

ABSTRACT

Accurate quantification of uncertainty is crucial for real-world applications of machine learning. However, modern deep neural networks still produce unreliable predictive uncertainty, often yielding over-confident predictions. In this paper, we are concerned with getting well-calibrated predictions in regression tasks. We propose the calibrated regression method using the maximum mean discrepancy by minimizing the kernel embedding measure. Theoretically, the calibration error of our method asymptotically converges to zero when the sample size is large enough. Experiments on non-trivial real datasets show that our method can produce well-calibrated and sharp prediction intervals, which outperforms the related state-of-the-art methods.

연구 동기 및 목표

• 딥 뉴럴 네트워크의 회귀 과제에서 과도하게 자신감 있는 예측 문제를 해결하기 위해.
• 예측 분포가 잘 校정되어 있음을 보장함으로써 신뢰도 측정을 향상시키기 위해.
• 표본 크기가 증가함에 따라 점점 0에 수렴하는 校정 오차를 점차적으로 달성하는 방법을 개발하기 위해.
• 기존 최고 수준의 접근 방식보다 뛰어난 성능을 보이는 날카롭고 신뢰할 수 있는 예측 구간을 생성하기 위해.

제안 방법

• 예측의 경험적 분포와 진짜 목표 분포 사이의 최대 평균 차이(MMD)를 커널 임베딩을 사용하여 최소화한다.
• 비모수적 방식으로 분포의 차이를 측정하기 위해 재생 커널 힐버트 공간(RKHS)을 활용한다.
• 학습 중에 엔드 투 엔드로 최적화하여 예측된 조건부 분포와 진짜 조건부 분포를 일치시킨다.
• 명시적 밀도 추정이 필요 없이 분포 일치를 보장하기 위해 커널 기반의 통계적 검정을 사용한다.
• 딥 뉴럴 네트워크 아키텍처와 함께 스케일링 가능하고 호환 가능한 방법으로 설계되어 있다.

실험 결과

연구 질문

• RQ1 MMD 기반의 분포 일치가 딥 회귀 모델에서 校정 오차를 효과적으로 줄일 수 있는가?
• RQ2 표본 크기가 증가함에 따라 제안된 방법이 점점 0에 수렴하는 校정 오차를 달성하는가?
• RQ3 예측 구간의 校정성과 날카로움 측면에서 기존 최고 수준의 방법들과 비교해 볼 때 어떻게 성능을 내는가?
• RQ4 명시적 밀도 모델링 없이도 신뢰할 수 있는 불확실성 추정치를 생성할 수 있는가?

주요 결과

• 제안된 방법의 校정 오차는 표본 크기가 증가함에 따라 점점 0에 수렴한다.
• 비틀린 실제 세계 데이터셋에서 잘 校정된 예측 구간을 생성한다.
• 제안된 방법이 생성한 예측 구간은 날카롭고 신뢰할 수 있으며, 기존 최고 수준의 접근 방식을 능가한다.
• 커널 기반의 분포 일치를 통해 딥 뉴럴 네트워크 예측의 과도한 자신감을 효과적으로 줄인다.