[논문 리뷰] Regularizing by the Variance of the Activations' Sample-Variances

Etai Littwin, Lior Wolf|arXiv (Cornell University)|2018. 11. 21.

Gaussian Processes and Bayesian Inference참고 문헌 19인용 수 8

한 줄 요약

이 논문은 배치 간 활성화 표본 분산의 분산을 최소화하여 이중 또는 다중 모달 활성화 분포를 유도하는 새로운 정규화 기법인 분산 일관성 손실(Variance Constancy Loss, VCL)을 제안한다. 배치 간 분산 변동을 명시적으로 페널티 처리함으로써 VCL은 활성화를 안정화시키고 일반화 성능을 향상시키며, 특히 작은 배치 크기에서 배치 정규화보다 뛰어난 정확도를 달성한다.

ABSTRACT

Normalization techniques play an important role in supporting efficient and often more effective training of deep neural networks. While conventional methods explicitly normalize the activations, we suggest to add a loss term instead. This new loss term encourages the variance of the activations to be stable and not vary from one random mini-batch to the next. As we prove, this encourages the activations to be distributed around a few distinct modes. We also show that if the inputs are from a mixture of two Gaussians, the new loss would either join the two together, or separate between them optimally in the LDA sense, depending on the prior probabilities. Finally, we are able to link the new regularization term to the batchnorm method, which provides it with a regularization perspective. Our experiments demonstrate an improvement in accuracy over the batchnorm technique for both CNNs and fully connected networks.

연구 동기 및 목표

• 작은 미니배치에서의 배치 정규화의 불안정성 및 일반화 문제를 해결하기 위해.
• 활성화 분포를 안정적이고 다중 모달 형태로 암묵적으로 형상화하는 손실 기반 정규화 기법을 개발하기 위해.
• 추론 시 배치 통계에 의존하지 않는 배치 정규화의 이론적이고 실험적인 대안을 제공하기 위해.
• 분산의 분산을 최소화함으로써 모델 정확도와 강인성을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 각 신경망 뉴런의 활성화 표본 분산이 미니배치 간으로 변동하는 정도를 측정하는 새로운 정규화 항을 도입한다.
• 각 뉴런에 대해, 다양한 미니배치에서 계산된 표본 분산의 편차를 페널티 처리함으로써 일관된 분산 수준을 유도한다.
• 고정된 목표 분산 $\alpha$ 하에서 $\mathbb{E}[(\sigma^2 - \sigma_s^2)^2]$ 를 최소화하는 것이 핵심 목표이며, 이는 이론적으로 이중 모달 분포를 유도한다.
• 이론적 분석을 통해 고정된 총 분산 하에서 이 분산의 분산을 최소화하면 카이르토시스를 최소화하고 활성화 통계를 안정화시키는 이중 모달 분포가 도출됨을 증명한다.
• 메서드는 적응형이다: 각 뉴런은 학습 가능한 하이퍼파ram터 $\beta$ 를 통해 자신의 최적 분산 수준을 학습함으로써 수동적 하이퍼파ram터 조정을 피한다.
• VCL은 훈련 중에 미분 가능한 손실 항으로 적용되며 추론 시 배치 통계가 필요하지 않아 어떤 옵티마이저나 작은 배치 크기와도 호환된다.

실험 결과

연구 질문

• RQ1 미니배치 간 활성화 표본 분산의 분산을 최소화함으로써 더 안정적이고 일반화 가능한 딥러닝 모델을 얻을 수 있는가?
• RQ2 이 분산의 분산 정규화는 특히 이중 모달 분포를 암묵적으로 유도하는가?
• RQ3 특히 작은 배치 크기에서 VCL은 배치 정규화와 비교해 정확도와 강인성 면에서 어떻게 성능을 내는가?
• RQ4 이 새로운 정규화 항은 ResNet과 같은 현대 아키텍처에서 배치 정규화를 대체할 수 있는가?
• RQ5 분산의 분산 손실과 결과적으로 도출되는 활성화 분포 형태 사이의 이론적 연결 고리는 무엇인가?

주요 결과

• VCL은 다양한 벤치마크에서 최신 기준 성능을 달성하였으며, 모든 테스트된 데이터셋과 활성화 함수에서 배치 정규화를 초월하는 정확도를 기록하였다.
• UCI adult 데이터셋에서 VCL은 ReLU에 대해 27개 중 27개 승리, ELU에 대해 27개 중 23개 승리, SELU에 대해 28개 중 27개 승리의 정확도 비교 결과를 기록하였다.
• 이론적 분석을 통해 고정된 총 분산 하에서 표본 분산의 분산을 최소화하면 이중 모달 분포가 도출되며, 이는 카이르토시스를 최소화하고 활성화 통계를 안정화시킴을 입증하였다.
• 두 개의 정규분포 혼합 모델에서 VCL은 사전 확률에 따라 최적의 LDA 투영(분리 목적) 또는 수직 투영(간결성 목적)을 자연스럽게 학습한다.
• 작은 미니배치에서 작동하며, 배치 정규화가 통계가 불안정하여 기능하지 못하는 경우에도 효과적이므로, 저자료 환경에서의 유망한 대안이 된다.
• 완전 연결망과 표준 CNN에서는 뛰어난 성능을 보였지만, ResNet과 같은 더 깊은 아키텍처에서는 아직 배치 정규화를 완전히 대체하지 못했으며, 향후 연구의 한계로 남아 있다.