[논문 리뷰] Neural Network Regularization via Robust Weight Factorization

Jan Rudy, Wei‐Guang Ding외 2명|arXiv (Cornell University)|2014. 12. 20.

Neural Networks and Applications참고 문헌 25인용 수 4

한 줄 요약

이 논문은 FaMe(Factored Mean)를 제안하며, 이는 가중치 행렬을 강건한 성분으로 분해하여 하위망의 앙상블을 효율적으로 훈련할 수 있도록 하는 새로운 신경망 정규화 방법이다. 드롭아웃과 달리 FaMe는 노이즈에 강건한 성분을 학습하여 더 적은 유효 파rameter 수로도 더 나은 일반화 성능을 달성하며, 암묵적으로 가중치 감쇠를 강제한다. 파라미터 수를 한 차수 감소시켜도 드롭아웃을 능가한다.

ABSTRACT

Regularization is essential when training large neural networks. As deep neural networks can be mathematically interpreted as universal function approximators, they are effective at memorizing sampling noise in the training data. This results in poor generalization to unseen data. Therefore, it is no surprise that a new regularization technique, Dropout, was partially responsible for the now-ubiquitous winning entry to ImageNet 2012 by the University of Toronto. Currently, Dropout (and related methods such as DropConnect) are the most effective means of regularizing large neural networks. These amount to efficiently visiting a large number of related models at training time, while aggregating them to a single predictor at test time. The proposed FaMe model aims to apply a similar strategy, yet learns a factorization of each weight matrix such that the factors are robust to noise.

연구 동기 및 목표

• 모델 복잡도를 증가시키지 않고 대규모 신경망에서 과적합을 해결하기 위해 일반화 성능을 향상시키는 것.
• 드롭아웃과 유사하게 훈련 중에 큰 하위망의 가족을 효율적으로 탐색할 수 있는 정규화 기법을 개발하는 것.
• 노이즈에 강건한 가중치 성분을 학습함으로써 테스트 시 정확한 모델 평균화를 가능하게 하여 드롭아웃에서 발생하는 희소 활성화의 한계를 피하는 것.
• 낮은 질량의 가중치 분해가 암묵적인 가중치 감쇠를 유도하고 과적합을 줄일 수 있는지 조사하는 것.

제안 방법

• FaMe는 각 가중치 행렬 $\mathbf{W}^{(l)}$ 를 두 개의 낮은 질량 행렬 $\mathbf{V}^{(l)}$ 와 $\mathbf{U}^{(l)}$ 로 분해하여 $\mathbf{W}^{(l)} = \mathbf{V}^{(l)}\mathbf{U}^{(l)}$ 를 만족시킨다.
• 훈련 중에 승법 노이즈가 $\mathbf{U}^{(l)}$ 의 성분에 적용되어 확률적 하위망을 시뮬레이션하고, 큰 모델 가족을 탐색할 수 있도록 한다.
• 테스트 시 예측은 학습된 성분들에 대한 결정론적 함수로 계산되며, 모든 노이즈가 가미된 하위망의 예측 기하평균을 근사한다.
• 암묵적인 $L_2$ 노르름 제약을 통해, 명시적인 $L_2$ 펜alties 없이도, 임의의 가중치 행렬 $\mathbf{W} = \mathbf{V}\mathbf{U}$ 가 정규화됨을 보장한다.
• 분해 구조 덕분에 질량 감소를 통해 모델 용량을 제어할 수 있어, 파라미터 효율적인 아키텍처를 가능하게 한다.
• 강건한 분해가 표준 드롭아웃보다 더 효과적인 앙상블 평균화를 가능하게 한다는 아이디어에 기반한다.

실험 결과

연구 질문

• RQ1 분해된 가중치 행렬이 성분들이 노이즈에 강건하도록 훈련될 수 있는가? 이는 표준 드롭아웃보다 더 나은 일반화 성능을 가능하게 하는가?
• RQ2 FaMe의 테스트 절차가 훈련 중에 방문한 모든 하위망의 예측 기하평균을 정확하게 근사하는가?
• RQ3 FaMe는 얼마나 강하게 암묵적인 $L_2$ 가중치 감쇠를 강제하는가? 드롭아웃과 비교해보면 어떠한가?
• RQ4 FaMe는 유효 파라미터 수를 크게 줄였음에도 불구하고 드롭아웃을 능가하는 성능을 달성할 수 있는가?
• RQ5 드롭아웃에서 ReLU 활성화의 희소성은 방문 가능한 모델의 유효 수에 어떤 영향을 미치며, FaMe는 이를 완화할 수 있는가?

주요 결과

• FaMe 훈련은 드롭아웃만큼 과적합을 방지하며, 조기 정지가 필요 없는 훈련 중에도 테스트 손실이 계속 감소한다.
• FaMe의 테스트 시 예측은 샘플링 기반 추정을 통해 진정한 하위망 예측 기하평균에 매우 가까이 근사된다.
• 유효 파라미터 수를 한 차수 감소시켜도 FaMe 모델은 일반화 성능에서 표준 드롭아웃 모델을 능가한다.
• FaMe는 드롭아웃보다 암묵적인 $L_2$ 가중치 감쇠를 더 강하게 강제하며, 이는 임의의 가중치 행렬의 $L_2$ 노르름이 훈련 중 더 빠르게 감소하는 것으로 확인된다.
• FaMe 하위망 예측의 산술평균이 기하평균을 略로 초월하여, 평균화 절차의 추가 최적화 가능성이 있음을 시사한다.
• 낮은 질량의 가중치 분해가 재현성 감소와 일반화 향상에 효과적인 정규화 메커니즘이 될 수 있음을 보여준다.