[논문 리뷰] Noise Regularization for Conditional Density Estimation

Jonas Rothfuss, Fábio Ferreira외 5명|arXiv (Cornell University)|2019. 07. 21.

Gaussian Processes and Bayesian Inference참고 문헌 52인용 수 12

한 줄 요약

이 논문은 신경 조건부 밀도 추정(CDE)을 위한 노이즈 정규화를 제안하며, 훈련 중 입력 데이터에 통제된 랜덤 펄스를 추가하여 일반화 성능을 향상시킵니다. 이 방법은 추정된 조건부 밀도의 스무쓰함을 유도하고, 점근적 일致성을 확보하며, 400개의 훈련 샘플조차도 다른 정규화 기법들과 전통적인 비모수적 방법보다 뛰어난 성능을 발휘합니다.

ABSTRACT

Modelling statistical relationships beyond the conditional mean is crucial in many settings. Conditional density estimation (CDE) aims to learn the full conditional probability density from data. Though highly expressive, neural network based CDE models can suffer from severe over-fitting when trained with the maximum likelihood objective. Due to the inherent structure of such models, classical regularization approaches in the parameter space are rendered ineffective. To address this issue, we develop a model-agnostic noise regularization method for CDE that adds random perturbations to the data during training. We demonstrate that the proposed approach corresponds to a smoothness regularization and prove its asymptotic consistency. In our experiments, noise regularization significantly and consistently outperforms other regularization methods across seven data sets and three CDE models. The effectiveness of noise regularization makes neural network based CDE the preferable method over previous non- and semi-parametric approaches, even when training data is scarce.

연구 동기 및 목표

• 훈련 데이터가 부족할 때 신경망 기반 조건부 밀도 추정(CDE)에서 과적합을 해결하기 위해.
• 최대우도 훈련에서 과적합에 민감한 고용량 CDE 모델에 효과적인 모델 무관 정규화 방법을 개발하기 위해.
• 제안된 노이즈 정규화 방법의 이론적 일치성과 스무쓰함 성질을 확립하기 위해.
• 자료가 부족한 상황에서 노이즈 정규화가 적용된 신경 CDE가 최신 비모수적 및 준모수적 CDE 방법을 능가하는지 보여주기 위해.

제안 방법

• 모델 아키텍처를 수정하지 않고 훈련 중 입력 특징 x에 통제된 랜덤 노이즈를 적용합니다.
• 노이즈가 포함된 입력을 사용한 확률적 최적화를 통해 조건부 밀도 추정을 암묵적으로 정규화합니다.
• 노이즈 추가가 큰 두 번째 도함수에 대한 페널티로 이어져 추정된 밀도의 스무쓰함을 유도함을 이론적으로 연결합니다.
• 약한 정규성 조건 하에 노이즈 정규화 최대우도 추정기의 점근적 일치성을 증명합니다.
• 편향과 분산을 균형 잡기 위해 데이터 차원과 샘플 수에 따라 변화하는 데이터 기반 노이즈 수준을 사용합니다.
• MDN, KMN, NFN을 포함한 모든 신경 CDE 모델 아키텍처와 호환되어 모델 무관성을 확보합니다.

실험 결과

연구 질문

• RQ1 최대우도로 훈련된 신경 CDE 모델에서 노이즈 정규화가 과적합을 효과적으로 줄일 수 있는가?
• RQ2 노이즈 정규화가 더 스무쓰한 조건부 밀도 추정을 유도하는 유리한 인덕티브 바이어스를 제공하는가?
• RQ3 노이즈 정규화 방법은 조건부 밀도 추정에서 점근적으로 일치하는가?
• RQ4 자료가 부족한 상황에서 노이즈 정규화가 적용된 신경 CDE가 전통적인 비모수적 및 준모수적 CDE 방법을 능가하는가?
• RQ5 다양한 CDE 아키텍처에서 노이즈 정규화가 웨이트 디데이, L1/L2 정규화, 베이지안 방법과 비교해 성능가능성이 어떻게 되는가?

주요 결과

• 노이즈 정규화는 테스트된 모든 CDE 모델(MDN, KMN, NFN)과 데이터셋에서 웨이트 디데이, L1/L2 정규화, 베이지안 방법보다 일관되게 뛰어난 성능을 보였다.
• 실제 데이터셋에서 최소 400개의 훈련 샘플만으로도 노이즈 정규화된 신경 CDE가 CKDE와 NKDE와 같은 최신 비모수적 방법보다 더 높은 테스트 로그우도를 달성했다.
• Euro Stoxx 및 NYC Taxi 데이터셋에서 노이즈 정규화된 NFN은 각각 5.20±0.03 및 5.12±0.03의 테스트 로그우도를 기록하여 모든 다른 방법을 능가했다.
• 표 2의 모든 5개 데이터셋에서 평균 테스트 로그우도가 가장 높았으며, NFN은 Euro Stoxx에서 4.00±0.03, NYC Taxi에서 5.20±0.03의 점수를 기록했다.
• 노이즈 정규화는 다양한 CDE 모델과 데이터 크기에서 뛰어난 안정성과 성능을 보였고, 반면 매개변수 공간 정규화 기법은 모델 아키텍처에 따라 성능 변동이 컸다.
• 이론적 분석을 통해 노이즈 정규화가 스무쓰함 페널티에 해당하고 점근적으로 일치함을 확인하여, 자료가 부족한 상황에서의 신뢰성을 뒷받침한다.