[논문 리뷰] Variance Networks: When Expectation Does Not Meet Your Expectations

Kirill Neklyudov, Dmitry Molchanov외 2명|arXiv (Cornell University)|2018. 03. 10.

Adversarial Robustness in Machine Learning참고 문헌 36인용 수 13

한 줄 요약

이 논문은 가중치가 오직 분산으로만 파rameter화되고 평균이 0으로 고정된 새로운 확률적 신경망 아키텍처인 분산 네트워크(variance networks)를 소개한다. 기대값을 기반으로 한 전통적인 접근 방식을 기꺼이 弃하고도, 이 네트워크는 경쟁력 있는 성능을 달성하며, 적대적 공격에 대한 강건성과 강화학습에서의 효과적인 탐색 능력을 보이며, 딥러닝에서 가중치 기대값에 대한 의존도를 도전한다.

ABSTRACT

Ordinary stochastic neural networks mostly rely on the expected values of their weights to make predictions, whereas the induced noise is mostly used to capture the uncertainty, prevent overfitting and slightly boost the performance through test-time averaging. In this paper, we introduce variance layers, a different kind of stochastic layers. Each weight of a variance layer follows a zero-mean distribution and is only parameterized by its variance. We show that such layers can learn surprisingly well, can serve as an efficient exploration tool in reinforcement learning tasks and provide a decent defense against adversarial attacks. We also show that a number of conventional Bayesian neural networks naturally converge to such zero-mean posteriors. We observe that in these cases such zero-mean parameterization leads to a much better training objective than conventional parameterizations where the mean is being learned.

연구 동기 및 목표

• 가중치 평균을 고정한 상태에서 오직 분산에만 정보를 저장하는 딥 뉴럴 네트워크의 가능성과 성능을 탐색하기.
• 분산만으로 파arameter화된 모델이 기대값 기반의 베이지안 신경망 기법보다 훈련 목표와 일반화 성능 측면에서 뛰어나지 못할지 조사하기.
• 분산 네트워크의 적대적 공격에 대한 강건성과 강화학습 탐색에서의 효율성을 평가하기.
• 더 단순한 사후 근사(0-평균)가 더 유연한 근사보다 더 좋은 변분 추론 목표(ELBO)를 제공하는 이면적인 현상에 대해 검토하기.

제안 방법

• 각 가중치가 0-평균 정규분포 $\mathcal{N}(0, \sigma_{ij}^2)$를 따르는 분산 레이어를 도입하며, 학습 가능한 파rameter는 오직 분산 $\sigma_{ij}^2$ 뿐이다.
• 표준 확률적 최적화를 사용하여 훈련하며, 정규화를 포함한 기대값 음의 로그우도를 최소화하고, 한 샘플을 이용한 기울기 추정을 사용한다.
• 일반적인 실무 관행과 같이 추론 시 기대 가중치 값을 평균값으로 대체한다(가중치 스케일링 규칙).
• 예측 분포를 근사하기 위해 테스트 시점에 $K$개의 샘플을 평균 내는 방식을 사용하지만, 본 논문은 이는 종종 불필요하다고 밝힌다.
• 분류, 강화학습(파라미터 노이즈를 활용한 정책 그래디언트), 적대적 공격에 대한 강건성 실험에 분산 네트워크를 적용한다.
• CIFAR-10 및 OpenAI Gym 환경에서 분산 네트워크를 표준 베이지안 모델(예: 변분 드롭아웃, MC-드롭아웃), 결정론적 네트워크, 딥 앙상블과 비교한다.

실험 결과

연구 질문

• RQ1 가중치 평균을 모두 0으로 고정하고 오직 분산만 학습시킬 경우, 딥 뉴럴 네트워크가 경쟁력 있는 성능을 달성할 수 있는가?
• RQ2 더 단순한 사후 근사(0-평균)가 더 많은 자유도를 가진 파라미터화보다 더 좋은 변분 추론 목표(ELBO)를 제공하는가?
• RQ3 분산 네트워크의 성능은 적대적 공격에 대한 강건성 측면에서 표준 베이지안 모델과 앙상블에 비해 어떻게 비교되는가?
• RQ4 가중치 기대값에 의존하지 않고도 분산 네트워크가 강화학습에서 효과적인 탐색 메커니즘으로 기능할 수 있는가?

주요 결과

• 분산 네트워크는 CIFAR-10에서 분류 정확도를 경쟁력 있게 달성하며, 가중치 평균을 0으로 고정함에도 불구하고 표준 베이지안 기준선과 동등하거나 뛰어나다.
• 분산 네트워크는 표준 드롭아웃 및 결정론적 네트워크보다 목표 적대적 공격에 대해 뛰어난 강건성을 보이며, 분산 네트워크의 딥 앙상블은 더욱 향상된 방어 성능을 보인다.
• 강화학습에서 파라미터 노이즈를 적용한 분산 네트워크는 기대값 기반의 표준 파라미터 노이즈 정책보다 최종 성능에서 뛰어나며, 더 나은 탐색과 안정성을 보인다.
• 표준 베이지안 모델인 변분 드롭아웃 및 MC-드롭아웃은 자연스럽게 0-평균 사후 분포로 수렴하는 것으로 나타나, 분산만으로 파라미터화하는 것이 단순한 이론적 흥미를 넘어서 실제 훈련 과정에서 흔한 결과임을 시사한다.
• 더 단순한 0-평균 사후 분포를 사용할 경우 변분 추론 목표(ELBO)가 크게 향상되며, 이는 더 많은 자유도를 가진 근사가 항상 더 나은 근사임을 가정하는 것과 모순된다.