[논문 리뷰] Heteroscedastic Calibration of Uncertainty Estimators in Deep Learning

Bindya Venkatesh, Jayaraman J. Thiagarajan|arXiv (Cornell University)|2019. 10. 30.

Adversarial Robustness in Machine Learning참고 문헌 20인용 수 5

한 줄 요약

이 논문은 이방성 회귀 목표를 校정을 위한 대체 목적함수로 재사용하여, 기존의 불확실성 추정기(예: 몬테카를로 드롭아웃 또는 분위수 기반 방법)를 활용해 후행 校정 없이 내재적으로 校정된 예측 구간을 생성할 수 있도록 하는 단일 스타일 校정 방법을 제안한다. 이 방법은 벤치마크 회귀 데이터셋 전반에서 校정성과 평균 예측 정확도를 향상시킨다.

ABSTRACT

The role of uncertainty quantification (UQ) in deep learning has become crucial with growing use of predictive models in high-risk applications. Though a large class of methods exists for measuring deep uncertainties, in practice, the resulting estimates are found to be poorly calibrated, thus making it challenging to translate them into actionable insights. A common workaround is to utilize a separate recalibration step, which adjusts the estimates to compensate for the miscalibration. Instead, we propose to repurpose the heteroscedastic regression objective as a surrogate for calibration and enable any existing uncertainty estimator to be inherently calibrated. In addition to eliminating the need for recalibration, this also regularizes the training process. Using regression experiments, we demonstrate the effectiveness of the proposed heteroscedastic calibration with two popular uncertainty estimators.

연구 동기 및 목표

• 딥러닝에서 불확실성 추정기의 열악한 校정성을 해결하기 위해, 특히 헬스케어 및 자율주행과 같은 고위험 응용 분야에서의 적용을 고려한다.
• 이전 연구에서 보여진 바와 같이, 별도의 재보정 단계가 필요할 경우 불확실성 추정이 의미를 잃을 수 있는 문제를 제거하기 위해, 별도의 재보정 단계가 필요 없도록 한다.
• 기존의 모든 불확실성 추정기를 활용해, 훈련 중 암묵적 校정을 통해 잘 校정된 예측 구간을 생성할 수 있도록 한다.
• 훈련 과정을 정규화하여, 불확실성 校정성과 평균 예측 정확도를 동시에 향상시킨다.
• 지식적 불확실성과 본질적 불확실성 추정기를 사용한 다양한 회귀 벤치마크에서 제안된 방법의 효과성을 입증한다.

제안 방법

• 모델이 예측하는 분산 대신 기존 추정기에서 제공하는 불확실성 추정치를 사용하여, 이방성 회귀 목표를 校정을 위한 대체 목적함수로 재사용한다.
• 예측 불확실성 추정치(예: MC 드롭아웃 또는 분위수 네트워크에서 유도된 값)를 손실 함수의 분산 항으로 사용하여 가우시안 우도 목표를 최적화한다.
• MC 드롭아웃의 경우, 드롭아웃을 적용한 M번의 전방향 전파에서 평균과 분산을 계산하고, 이를 바탕으로 이방성 손실을 계산한다.
• 분위수 기반 불확실성의 경우, 상한 및 하한 분위수(τᵘ=0.9, τˡ=0.1)를 예측하도록 모델을 훈련하고, 표준편차를 (ŷᵘ − ŷˡ)/2로 추정한다.
• 이방성 손실와 분위수 예측 손실을 가중치 합으로 함께 최적화한다: λ_H·L_HNN + λ_u·L_τᵘ + λ_l·L_τˡ.
• 단일 훈련 단계를 통해 정확한 평균 예측과 잘 校정된 예측 구간을 동시에 달성하여, 후행 校정을 회피한다.

실험 결과

연구 질문

• RQ1 이방성 회귀 목표를 校정을 위한 대체 목적함수로 재사용할 수 있는가? 이를 통해 내재적으로 校정된 불확실성 추정이 가능한가?
• RQ2 기본 추정기가 열악하게 校정되어 있어도, 별도의 재보정 단계 없이 이 방법이 校정성을 향상시킬 수 있는가?
• RQ3 MC 드롭아웃 및 분위수 기반 방법과 같은 다양한 불확실성 추정기에서 이 방법의 성능은 어떠한가?
• RQ4 이방성 목표를 통한 암묵적 校정이 더 나은 정규화를 이끌어내고 평균 예측 정확도를 향상시키는가?
• RQ5 기본 MC 드롭아웃에 비해 드롭아웃 비율 p와 같은 하이퍼파라미터 선택에 대해 이 방법은 얼마나 강인한가?

주요 결과

• 제안된 Dropout-HC 및 Quantile-HC 방법은 기대값 대비 달성된 校정 수준 플롯에서 대각선 선에 매우 가까이 따라가 near-perfect 校정을 달성한다.
• 모든 8개의 UCI 회귀 데이터셋에서 기준 MC 드롭아웃 및 HNN에 비해 Dropout-HC 방법이 근본적으로 더 낮은 校정 오차(CE)를 기록한다.
• 표준 MC 드롭아웃과 달리, Dropout-HC 방법은 드롭아웃 비율 p의 변화에 대해 강인하며, p 값에 따라 校정 오차의 변동성이 높지 않다.
• 이방성 校정은 동일한 p 값에서 표준 MC 드롭아웃보다 더 두꺼운 尾部를 가진 불확실성 추정치(σ) 분포를 유도한다.
• 모든 데이터셋에서 낮은 RMSE 값을 통해 평균 예측 정확도가 향상되었음을 확인하였으며, 이는 훈련 중 더 나은 정규화를 의미한다.
• 이방성 손실와 분위수 손실의 공동 최적화를 통해 정확한 구간 추정이 가능하면서도 강력한 校정 성능 유지를 달성한다.