[논문 리뷰] Scalable Natural Gradient Langevin Dynamics in Practice

Henri Palacci, Henry Hess|arXiv (Cornell University)|2018. 06. 07.

Markov Chains and Monte Carlo Methods참고 문헌 13인용 수 7

한 줄 요약

이 논문은 베이지안 딥 러닝을 위한 스케일러블 자연 그래디언트 랑주비안 동역학(SGLD)을 다양한 전치법—대각형, 크로네커 분해형, 전체 피셔 근사—을 사용하여 평가한다. 연구 결과, 이러한 방법들은 분포 외 데이터 탐지 능력을 향상시키지만, 소규모 데이터셋에서 과적합을 줄이거나 적대적 공격에 저항하지 못함을 확인하였다. 이는 고정 학습률 SGD와 암묵적 베이지안 정규화를 결합한 방법이 실세계 적용에 더 실용적일 수 있음을 시사한다.

ABSTRACT

Stochastic Gradient Langevin Dynamics (SGLD) is a sampling scheme for Bayesian modeling adapted to large datasets and models. SGLD relies on the injection of Gaussian Noise at each step of a Stochastic Gradient Descent (SGD) update. In this scheme, every component in the noise vector is independent and has the same scale, whereas the parameters we seek to estimate exhibit strong variations in scale and significant correlation structures, leading to poor convergence and mixing times. We compare different preconditioning approaches to the normalization of the noise vector and benchmark these approaches on the following criteria: 1) mixing times of the multivariate parameter vector, 2) regularizing effect on small dataset where it is easy to overfit, 3) covariate shift detection and 4) resistance to adversarial examples.

연구 동기 및 목표

• 전치법이 적용된 SGLD 방법의 대규모 베이지안 신경망에서의 실용적 효과를 평가하는 것.
• 기본 SGLD와 비교해 자연 그래디언트 전치법이 혼합 속도, 일반화 능력, 내성적 저항력 향상에 기여하는지 조사하는 것.
• SGLD 기반 모델이 분포 외 데이터(공변량 이동)를 탐지하고 적대적 예제에 저항하는 능력을 평가하는 것.
• 일반화 및 불확실성 추정 측면에서 SGLD 변종과 표준 SGD, 고정 학습률 SGD 간의 성능을 비교하는 것.
• 실세계 딥 러닝 응용 프로그램에서 전치법의 계산 비용이 성능 향상에 비례하는지 여부를 판단하는 것.

제안 방법

• 신경망 가중치의 사후 분포에서 샘플링하기 위해 가우시안 노이즈를 추가한 확률적 경량 하강법(SGLD)을 사용한다.
• 매개변수 공간의 곡률을 고려하기 위해 노이즈 항에 대각형, 크로네커 분해 블록 대각형, 전체 피셔 정보 행렬 전치법을 적용한다.
• 대규모 네트워크에서 효율적이고 역행렬이 가능한 피셔 정보 행렬의 근사치로 크로네커-팩터라이즈드 근사 곡률(KFAC)을 사용한다.
• 고정 초모수 튜닝 예산 내에서 pSGLD, KSGLD 및 고정 학습률 SGD(FSGD) 간의 성능을 비교한다.
• 표준 MCMC 진단(효율적 표본 크기, 추적 플롯)을 활용하고, 분포 외 탐지, 과적합, 적대적 공격에 대한 모델 성능을 평가한다.
• MNIST에서 학습하고 notMNIST에서 평가하여 지식 불확실성과 공변량 이동 탐지 능력을 테스트한다.

실험 결과

연구 질문

• RQ1 대각형 또는 크로네커 분해 근사로 랑주비안 노이즈를 전치함으로써 SGLD의 혼합 속도와 수렴 성능이 향상되는가?
• RQ2 소규모 데이터셋에서 표준 SGD와 비교해 전치법이 적용된 SGLD 방법이 과적합을 줄이는 데 효과적인가?
• RQ3 SGLD 기반 모델이 표준 딥 러닝 모델보다 적대적 예제에 대해 더 높은 내성적 저항력을 보이는가?
• RQ4 SGLD 기반 모델이 불확실성 추정을 통해 분포 외 데이터(OOD), 예를 들어 notMNIST를 효과적으로 탐지할 수 있는가?
• RQ5 실세계 딥 러닝 환경에서 전치법의 계산 오버헤드가 성능 향상에 비례하는가?

주요 결과

• 전치법이 적용된 SGLD 방법(pSGLD, KSGLD)은 분포 외(OOD) 데이터 탐지 능력이 크게 향상되었으며, notMNIST에서의 예측 불확실성이 일반 SGD보다 높았다.
• 소규모 데이터셋(5,000개의 MNIST 예제)에서 모든 랑주비안 방법이 표준 SGD보다 성능이 열 劣하였고, 테스트 정확도가 90% 이하로 떨어져 정규화 효과가 없음을 시사했다.
• 모든 SGLD 변종, 포함 KSGLD까지도 적대적 공격에 취약하여, 적대적 예제에서의 정확도가 약 2%로 급격히 하락했으며, 이는 표준 SGD(2.9%)보다 악화된 결과였다.
• 추적 플롯과 효율적 표본 크기 분석 결과, 매개변수 추적의 혼합이 열악하고 정상 상태에 도달하지 못함을 확인하여, 긴 실행 시간에도 수렴 문제 존재를 시사했다.
• 고정 학습률 SGD(FSGD)는 OOD 탐지 측면에서 SGLD와 유사한 성능를 보였고, 소규모 데이터에서 일반화 능력에서 SGLD를 뛰어넘었다. 이는 데이터 서브샘플링 노이즈가 이미 매개변수 다양체에 잘 스케일링되어 있음을 시사한다.
• 연구는 암묵적 베이지안 정규화를 통한 고정 학습률 SGD가 실세계 응용에서 전치법이 적용된 명시적 SGLD보다 더 실용적일 수 있음을 결론 내린다.