[논문 리뷰] Benchmarking the Neural Linear Model for Regression

Sebastian W. Ober, Carl Edward Rasmussen|arXiv (Cornell University)|2019. 12. 18.

Gaussian Processes and Bayesian Inference참고 문헌 23인용 수 12

한 줄 요약

이 논문은 UCI 및 UCI 'gap' 데이터셋에서 회귀 문제에 대해 신경 선형 모델(NLM)을 벤치마킹하며, MAP, 정규화, 베이지안 노이즈(최대우도 또는 베이지안 최적화)를 사용한 네 가지 학습 변종을 평가한다. 주요 발견은 초모수에 대해 슬라이스 샘플링을 적용할 경우 성능 향상이 이루어지며, 특히 로그우도 측면에서 유의미한 개선이 관찰되나, 이는 모델에 따라 다를 수 있다. 정규화된 모델 및 BN(BO)-2 NLM는 슬라이스 샘플링로 인해 성능 저하를 보일 수 있다.

ABSTRACT

The neural linear model is a simple adaptive Bayesian linear regression method that has recently been used in a number of problems ranging from Bayesian optimization to reinforcement learning. Despite its apparent successes in these settings, to the best of our knowledge there has been no systematic exploration of its capabilities on simple regression tasks. In this work we characterize these on the UCI datasets, a popular benchmark for Bayesian regression models, as well as on the recently introduced UCI "gap" datasets, which are better tests of out-of-distribution uncertainty. We demonstrate that the neural linear model is a simple method that shows generally good performance on these tasks, but at the cost of requiring good hyperparameter tuning.

연구 동기 및 목표

• 표준 회귀 벤치마크(UKI 데이터셋)와 분포 이탈에 대한 불확실성 테스트(UKI gap 데이터셋)에서 신경 선형 모델(NLM)을 체계적으로 평가하기 위해.
• MAP, 정규화, 베이지안 노이즈와 같은 다양한 학습 전략이 NLM 성능에 미치는 영향을 조사하기 위해.
• 노이즈 및 사전 분산 초모수에 대해 슬라이스 샘플링을 적용함으로써 불확실성 캘리브레이션 및 예측 성능 향상에 기여하는지 평가하기 위해.
• 분포 이탈 조건 하에서 로그우도 및 RMSE 측면에서 표준 기준 모델과의 비교를 통해 NLM의 성능을 평가하기 위해.
• 베이지안 최적화를 통한 초모수 조정이 최적의 NLM 성능을 위해 필수적인지 여부를 판단하기 위해.

제안 방법

• 입력에서 특징을 추출하기 위해 신경망을 학습한 후, 최종 레이어의 활성화에 정확한 베이지안 선형 회귀를 적용한다.
• 신경망을 최대사후확률(MAP) 추정법으로 학습한 후, 노이즈 및 사전 분산 초모수에 대해 슬라이스 샘플링을 적용하여 적분한다.
• 신경망 가중치와 초모수에 대한 마진널리elihood를 동시에 최적화하여 불확실성 캘리브레이션을 향상시키는 정규화된 NLM을 구현한다.
• 가중치와 노이즈 분산에 정규-역감마 분포 사전을 적용한 베이지안 노이즈 NLM을 도입하여 모든 초모수를 함께 최적화할 수 있도록 한다.
• 초모수가 함께 최적화되지 않는 모델(예: BN(BO)-NL)의 경우, 초모수 조정을 위해 베이지안 최적화를 적용한다.
• 모든 모델에서 비가중치 초모수에 대해 슬라이스 샘플링을 적용하여 안정적인 불확실성 추정을 보장한다.

실험 결과

연구 질문

• RQ1 신경 선형 모델은 표준 UCI 회귀 데이터셋에서 기준 모델 대비 어떻게 성능을 내는가?
• RQ2 UCI 'gap' 데이터셋을 통해 분포 이탈 데이터에 대해 신경 선형 모델이 잘 일반화되는가?
• RQ3 초모수에 대한 슬라이스 샘플링이 예측 성능 및 불확실성 캘리브레이션에 어떤 영향을 미치는가?
• RQ4 MAP, 정규화, 베이지안 노이즈 중 어떤 학습 전략이 가장 강력하고 잘 캘리브레이션된 예측을 제공하는가?
• RQ5 최적의 NLM 성능을 위해 베이지안 최적화를 통한 초모수 조정이 필수적인가, 아니면 함께 최적화하는 방법만으로도 충분한가?

주요 결과

• 신경 선형 모델은 슬라이스 샘플링 및 적절한 초모수 조정이 함께 적용될 경우 표준 UCI 회귀 데이터셋에서 일반적으로 뛰어난 성능을 보인다.
• 슬라이스 샘플링은 대부분의 모델에서 로그우도를 크게 향상시키며, 특히 MAP-2 NL 및 BN(ML)-2 NL에서 두드러진 개선이 관찰된다.
• 정규화된 NLM 및 BN(BO)-2 NL 모델는 슬라이스 샘플링 적용 시 성능 저하가 발생할 수 있으며, 이는 이러한 변종에 대해 해로울 수 있음을 시사한다.
• UCI 'gap' 데이터셋에서는 슬라이스 샘플링이 대부분의 모델에서 로그우도 측면에서 성능 향상을 보였지만, RMSE에 대한 영향은 통계적으로 유의미하지 않은 경우가 많았다.
• BN(BO)-2 NL 모델는 슬라이스 샘플링을 적용했을 때 갭 영역에서 불확실성 캘리브레이션에 약간의 악화가 발생하여 과신 경향을 보였다.
• 전반적으로 슬라이스 샘플링는 대부분의 경우 성능을 떨어뜨리지 않으며, MAP-2 NL와 같은 핵심 모델에 유익한 영향을 미치지만, 그 영향은 모델에 따라 달라지며 반드시 유리한 것은 아니다.