[논문 리뷰] Optimal Training of Mean Variance Estimation Neural Networks

Laurens Sluijterman, Eric Cator외 1명|arXiv (Cornell University)|2023. 02. 17.

Fault Detection and Control Systems인용 수 4

한 줄 요약

이 논문은 평균 분산 추정(MVE) 신경망 훈련을 위한 두 가지 핵심 개선 사항을 제안한다: 초기 평균만 훈련하는 동안 분산을 고정하는 웜업 단계와, 평균 및 분산 예측에 대해 별도의 정규화를 적용하는 것. 저자들은 UCI 데이터셋을 대상으로 한 실험을 통해 이러한 방법이 모델의 안정성과 성능을 크게 향상시킨다는 것을 입증하였으며, 특히 동일한 정규화를 사용하는 것보다 별도의 정규화가 뚜렷한 성능 향상을 이끌어낸다.

ABSTRACT

This paper focusses on the optimal implementation of a Mean Variance Estimation network (MVE network) (Nix and Weigend, 1994). This type of network is often used as a building block for uncertainty estimation methods in a regression setting, for instance Concrete dropout (Gal et al., 2017) and Deep Ensembles (Lakshminarayanan et al., 2017). Specifically, an MVE network assumes that the data is produced from a normal distribution with a mean function and variance function. The MVE network outputs a mean and variance estimate and optimizes the network parameters by minimizing the negative loglikelihood. In our paper, we present two significant insights. Firstly, the convergence difficulties reported in recent work can be relatively easily prevented by following the simple yet often overlooked recommendation from the original authors that a warm-up period should be used. During this period, only the mean is optimized with a fixed variance. We demonstrate the effectiveness of this step through experimentation, highlighting that it should be standard practice. As a sidenote, we examine whether, after the warm-up, it is beneficial to fix the mean while optimizing the variance or to optimize both simultaneously. Here, we do not observe a substantial difference. Secondly, we introduce a novel improvement of the MVE network: separate regularization of the mean and the variance estimate. We demonstrate, both on toy examples and on a number of benchmark UCI regression data sets, that following the original recommendations and the novel separate regularization can lead to significant improvements.

연구 동기 및 목표

• 회귀 과제에서 불확실성 추정에 있어 흔한 문제인 MVE 네트워크의 수렴 불안정성 문제를 해결하기 위해.
• Nix와 Weigend(1994)가 제안한 웜업 기간을 통해 훈련 안정성을 높이는 것이 실제로 효과적인지 검증하기 위해.
• 평균 및 분산 예측에 대해 별도의 정규화를 적용할 경우 성능 향상이 이루어지는지 조사하기 위해.
• 실제 회귀 응용 분야에서 MVE 네트워크를 효과적으로 훈련하기 위한 실증 기반의 실용적 권고 사항을 제공하기 위해.

제안 방법

• 분산을 고정하고 초기에는 평균 헤드만 훈련하는 웜업 단계를 구현하며, 이때 분산은 편향 설정을 통해 초기화된다.
• 평균과 분산의 공동 최적화 동안 기울기 클리핑을 사용하여 훈련 안정성을 향상시킨다.
• 평균 및 분산 하위 네트워크에 대해 별도의 L2 정규화 계수를 적용하고, 교차 검증을 통해 각각 독립적으로 최적화한다.
• MVE 네트워크를 음의 로그가능도 손실 함수를 사용하여 훈련한다: $\mathcal{L}(\theta) = \sum_{i=1}^{N} \frac{1}{2}\log(\sigma^2_\theta(\bm{x}_i)) + \frac{1}{2}\frac{(y_i - \mu_\theta(\bm{x}_i))^2}{\sigma^2_\theta(\bm{x}_i)}$.
• 분산 출력에 소프트플러스 또는 지수 변환을 적용하여 양수성을 보장한다.
• 여러 개의 랜덤 시드와 5–10겹 교차 검증을 통해 UCI 회귀 벤치마크에서 RMSE 및 로그가능도 지표를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 Nix와 Weigend(1994)가 제안한 원래의 웜업 권고를 따를 경우 MVE 네트워크 훈련에서 수렴 문제를 해결할 수 있는가?
• RQ2 웜업 이후 평균과 분산을 함께 최적화하는 것이 유의미한 성능 향상을 가져오는가, 아니면 분산 훈련 기간 동안 평균을 고정하는 것이 더 바람직한가?
• RQ3 평균 및 분산 하위 네트워크에 별도의 정규화 계수를 적용할 경우 공통 정규화보다 예측 성능 향상이 이루어지는가?
• RQ4 다양한 회귀 데이터셋 간에 평균과 분산에 대한 최적의 정규화 강도는 어떻게 비교되는가?

주요 결과

• 분산을 고정하고 초기에는 평균만 훈련하는 웜업 기간을 도입함으로써 훈련 안정성이 크게 향상되고, 네트워크가 조기에 고성능 영역에 집중하는 것을 방지할 수 있다.
• 웜업이 없을 경우 MVE 네트워크는 잘 맞지 않는 영역에서 학습에 실패하는 경향이 있어, 최적의 RMSE 및 로그가능도 점수를 달성하지 못한다.
• 평균 및 분산에 대해 별도의 정규화를 적용하면 여러 UCI 데이터셋에서 일관되게 성능 향상이 이루어지며, 일반적으로 분산에 대한 정규화 강도는 평균에 비해 약 10배 정도 높은 편이다.
• 에너지 및 양티 데이터셋의 경우, 공통 정규화보다 별도의 정규화가 뚜렷한 성능 향상을 이끌어냈으며, 최적의 정규화 상수가 유사한 경우에도 이러한 개선 효과가 관찰되었다.
• 웜업 이후 평균을 고정하거나 함께 최적화하는 방식의 성능 차이는 크지 않았지만, 별도의 정규화를 사용하지 않을 경우 공동 최적화가 略적으로 더 효과적이었다.
• 보스턴 주택 데이터셋처럼 문제가 상대적으로 단순한 경우, 모든 전략가 성능가 유사하게 나타나, 웜업 및 별도의 정규화가 복잡하거나 노이즈가 많은 회귀 과제에서 가장 유익한 것으로 나타났다.