[논문 리뷰] Neural Control Variates for Variance Reduction

Ruosi Wan, Mingjun Zhong외 2명|arXiv (Cornell University)|2018. 06. 01.

Model Reduction and Neural Networks참고 문헌 7인용 수 17

한 줄 요약

이 논문은 몬테 카를로 적분에서 분산을 줄이기 위해 신경망을 사용해 제어 변수를 학습하는 방법인 제약 조건이 부여된 신경망 제어 변수(CNCV)를 제안한다. 특히 표본 수가 적은 상황에서 효과적이다. 중심화 및 정규화 제약 조건을 부여함으로써 CNCV는 과적합을 완화하고 합성 및 실제 베이지안 추론 작업 전반에서 뚜렷한 분산 감소 효과를 보이며 최신 기법들을 능가한다.

ABSTRACT

In statistics and machine learning, approximation of an intractable integration is often achieved by using the unbiased Monte Carlo estimator, but the variances of the estimation are generally high in many applications. Control variates approaches are well-known to reduce the variance of the estimation. These control variates are typically constructed by employing predefined parametric functions or polynomials, determined by using those samples drawn from the relevant distributions. Instead, we propose to construct those control variates by learning neural networks to handle the cases when test functions are complex. In many applications, obtaining a large number of samples for Monte Carlo estimation is expensive, which may result in overfitting when training a neural network. We thus further propose to employ auxiliary random variables induced by the original ones to extend data samples for training the neural networks. We apply the proposed control variates with augmented variables to thermodynamic integration and reinforcement learning. Experimental results demonstrate that our method can achieve significant variance reduction compared with other alternatives.

연구 동기 및 목표

• 표본 수가 제한된 상황에서 특히 복잡한 모델 통합과 베이지안 추론에서 높은 분산을 보이는 몬테 카를로 추정기 문제를 해결하기 위해.
• 작은 데이터셋에서 학습할 때 신경망 기반 제어 변수의 과적합 문제를 극복하기 위해.
• 고차원 및 복잡한 테스트 함수 설정에서 제어 변수의 일반화 및 강건성을 향상시키기 위해.
• 분포 외 샘플에 대한 베이지안 신경망 예측의 과신을 줄이기 위해.
• 실제 머신러닝 응용 분야에서 높은 분산 감소를 달성하면서도 낮은 편향을 유지하는 분산 감소 방법을 개발하기 위해.

제안 방법

• 복잡한 비선형 제어 함수를 위한 분산 감소를 위해 딥 신경망을 사용하는 신경망 제어 변수(NCV)를 제안한다.
• 제어 변수가 평균이 0이 되도록(중앙화) 하고, 작은 데이터셋에서의 과적합을 방지하기 위해 정규화된 최적화 프레임워크를 도입한다.
• 제약 조건 E[g(θ)] = 0를 페널티 또는 투영 기반 메커니즘으로 강제하면서 추정기의 분산을 최소화하는 손실 함수를 사용한다.
• 복잡한 사후분포 하에서 기대값을 몬테 카를로로 추정하는 데 적용하며, 베이지안 모델 증거 및 베이지안 신경망을 포함한다.
• 표적 분포에서 추출한 유한한 표본 집합에 대해 확률적 경량 최적화를 사용해 신경망 제어 변수를 학습한다.
• 제어 변수를 g(θ) = f(θ) + h(θ; φ) 형태로 적용하며, h는 매개수 φ를 가진 신경망이고, 최종 추정기는 E[f(θ)] ≈ (1/n)Σ(f(θ_i) + g(θ_i))로, g(θ_i)는 데이터로부터 학습된 것이다.

실험 결과

연구 질문

• RQ1 신경망이 고차원 및 비선형 설정에서 몬테 카를로 분산을 줄이기 위해 복잡한 제어 변수를 효과적으로 모델링할 수 있는가?
• RQ2 작은 데이터셋에서 신경망 제어 변수를 학습하면 심각한 과적합이 발생하는가? 만약 그렇다면 이를 어떻게 완화할 수 있는가?
• RQ3 신경망 제어 변수의 제약 조건이 있는 최적화가 제약 조건이 없는 학습보다 일반화 능력 향상과 분산 감소에 더 효과적인가?
• RQ4 실제 베이지안 추론 작업, 예를 들어 모델 증거 평가 및 BNN에서의 OOD 탐지에서 제한된 표본 수에서 제안된 방법의 성능은 어떠한가?
• RQ5 CNCV는 분포 외 샘플에 대한 베이지안 신경망 예측의 과신을 줄일 수 있는가?

주요 결과

• CNCV는 합성 및 실제 데이터 문제에서 기존 기법들인 선형 제어 변수와 제어 기능 함수와 비교해 뚜렷한 분산 감소 효과를 보였다.
• 베이지안 모델 증거 평가에서, 특히 표본 수가 적은 상황에서 CNCV는 최신 기법들보다 더 효과적으로 분산을 감소시켰다.
• 베이지안 신경망 추론에서, CNCV는 분포 외(OOD) 샘플에서 가장 낮은 엔트로피 점수를 기록하여 기존의 베이지안 신경망과 선형 제어 변수 기반 기준보다 과신이 적음을 나타냈다.
• 이차 제어 변수와 제어 기능 함수는 고차원성과 계산 복잡도로 인해 만족스러운 분산 감소를 달성하지 못했으며, CNCV가 이를 능가했다.
• 박스플롯 분석 결과, CNCV는 OOD 샘플에서 예측 점수의 안정성이 略로 높아졌지만, 주요 향상 요인은 엔트로피로 측정된 과신 감소였다.
• 검증 데이터에 대한 일반화 능력 향상과 낮아진 분산을 통해 제약 조건이 있는 학습 방식이 신경망 제어 변수의 과적합을 성공적으로 완화했다.