[논문 리뷰] Faithful Heteroscedastic Regression with Neural Networks

Andrew Stirn, Hans‐Hermann Wessels외 4명|arXiv (Cornell University)|2022. 12. 18.

Gaussian Processes and Bayesian Inference인용 수 6

한 줄 요약

이 논문은 이종분산 신경망 회귀를 위한 단순한 최적화 수정 방법을 제안하며, 평균 예측의 정확도를 평균 전용 기준 모델과 동일하게 유지함으로써 '신뢰성 있는 평균 추정'을 보장하면서 동시에 최신 수준의 분산 校정을 동시에 달성한다. 이 방법은 부정적 로그우도 손실을 수정하는 바탕이며, 구현이 용이하고, 이종분산 잡음 모델링 시에도 평균 정확도를 증명 가능하게 유지한다.

ABSTRACT

Heteroscedastic regression models a Gaussian variable's mean and variance as a function of covariates. Parametric methods that employ neural networks for these parameter maps can capture complex relationships in the data. Yet, optimizing network parameters via log likelihood gradients can yield suboptimal mean and uncalibrated variance estimates. Current solutions side-step this optimization problem with surrogate objectives or Bayesian treatments. Instead, we make two simple modifications to optimization. Notably, their combination produces a heteroscedastic model with mean estimates that are provably as accurate as those from its homoscedastic counterpart (i.e.~fitting the mean under squared error loss). For a wide variety of network and task complexities, we find that mean estimates from existing heteroscedastic solutions can be significantly less accurate than those from an equivalently expressive mean-only model. Our approach provably retains the accuracy of an equally flexible mean-only model while also offering best-in-class variance calibration. Lastly, we show how to leverage our method to recover the underlying heteroscedastic noise variance.

연구 동기 및 목표

• 표준 이종분산 신경망 학습에서 부정적 로그우도(NLL) 최적화를 통해 평균 예측 정확도가 평균 전용 기준 모델보다 떨어지는 문제를 해결하기 위해.
• 신뢰성(faithfulness)을 정식화하고 달성하기 위해—즉, 이종분산 모델의 평균 추정치가 그 평균 전용 하위네트워크 기준 모델과 동일한 정확도를 가지게 하되, 분산 校정 성능을 희생시키지 않기 위해.
• 신뢰성을 보장하고 예측 불확실성의 신뢰성을 향상시키는 단순하고 계산 효율적인 최적화 전략을 개발하기 위해.
• 신뢰성 있는 이종분산 잡음 분산 추정을 통해 예측 분산을 애러티픽과 에피스테믹 성분으로 정확히 분해할 수 있도록 하기 위해.
• CRISPR-Cas13 효능 예측, 이미지 오토에코딩, 스칼라 회귀 등 다양한 과제에서 방법의 효과성을 입증하기 위해.

제안 방법

• 표준 NLL 최적화에 두 가지 단순한 수정을 도입한다: (1) 평균 출력의 조상이 아닌 모든 계산 그래프 요소를 제거하고, (2) NLL 손실을 재가중하여 평균 추정을 우선시한다.
• 수정된 손실 함수는 평균 네트워크 파라미터가 고립적으로 훈련된 것처럼 업데이트되도록 보장하여, 평균 전용 모델의 성능을 유지한다.
• 이 방법은 평균과 분산 최적화를 분리하는 수정된 손실 함수와 동치이며, 표준 딥러닝 프레임워크에서 쉽게 구현할 수 있다.
• 이 방법은 이종분산 모델의 평균 추정치가 평균 전용 하위네트워크와 동일한 정확도를 가지게 보장하며, 이를 '신뢰성'으로 정의한다.
• 이 방법은 이종분산 잡음 분산을 안정적으로 추정할 수 있게 하여, 총 예측 분산을 애러티픽과 에피스테믹 성분으로 분해할 수 있다.
• 이 방법은 공유 트렁크 네트워크와 별도의 평균 및 분산 헤드를 사용하는 회귀 및 표현 학습 과제에 적용된다.

실험 결과

연구 질문

• RQ1 동일한 아키텍처를 가진 이종분산 신경망을 최적화하여, 그 평균 예측이 평균 전용 모델과 동일한 정확도를 가지게 할 수 있는가?
• RQ2 표준 NLL 최소화가 이종분산 모델에서 평균 전용 기준 모델 대비 평균 추정 성능을 본질적으로 떨어뜨리는가?
• RQ3 간단한 최적화 수정을 통해 '신뢰성'—즉, 동일한 평균 정확도를 달성하면서도 분산 校정 성능을 향상시킬 수 있는가?
• RQ4 이 방법은 생물학적 데이터셋, 예를 들어 CRISPR-Cas13 효능 데이터에서 시퀀스 의존적인 이종분산 잡음 분산을 안정적으로 복원할 수 있는가?
• RQ5 정확한 분산 추정을 바탕으로, 예측 분산을 애러티픽과 에피스테믹 성분으로 분해할 수 있는 정도는 어느 정도인가?

주요 결과

• 제안된 방법은 '신뢰성 있는 평균 추정'을 달성하여, 동일한 표현 능력을 가진 평균 전용 모델과 동일한 정확도로 평균 예측을 한다는 점을 증명 가능하게 한다.
• 스칼라 회귀에서부터 이미지 오토에코딩, CRISPR-Cas13 효능 예측에 이르기까지 모든 테스트 과제에서, 이 방법은 평균 정확도와 분산 校정의 최고 조합을 달성한다.
• 기존의 이종분산 모델 대비 기대 校정 오차(ECE)에서 뚜렷한 우월성을 보이며, 뛰어난 분산 校정 성능을 입증한다.
• CRISPR-Cas13 데이터셋에서, 모델은 알려진 가이드 효능의 시퀀스 의존성 특성을 회복하며, 더 효과적인 가이드가 더 높은 측정 잡음을 보임을 확인하여, 이종분산성의 시퀀스 의존성이 있음을 시사한다.
• 신뢰성 있는 이종분산 잡음 분산 추정을 통해 예측 분산을 애러티픽과 에피스테믹 성분으로 정확히 분해할 수 있다.
• SHAP 분석을 통해 모델의 분산 출력이 시퀀스 특성에 민감한 것으로 확인되었으며, 원본 및 평균화된 복제본 간의 분산 SHAP 값 차이를 통해 이종분산성 자체가 시퀀스 의존성을 가진다는 점이 드러났다.