[논문 리뷰] Constraint-Based Regularization of Neural Networks

Benedict Leimkuhler, Timothée Pouchon외 2명|arXiv (Cornell University)|2020. 06. 17.

Stochastic Gradient Optimization Techniques참고 문헌 55인용 수 6

한 줄 요약

이 논문은 랑주비안 역학을 사용하여 깊이 신경망을 훈련시키는 제약 기반 정규화 프레임워크를 제안한다. 여기서 대수적 제약 조건(예: 직교성 및 원형 제약 조건)을 확률적 최적화에 통합하여 훈련 안정성, 기울기 소실/폭발 문제 완화, 일반화 성능 향상을 달성한다. 이 방법은 이미지 분류, 자연어 처리(NLP), 합성 작업 등에서 최신 기준 성능을 달성하며, 표준 SGD에 관성과 가중치 감쇠를 적용한 경우보다 핵심 벤치마크에서 뛰어난 성능을 보인다.

ABSTRACT

We propose a method for efficiently incorporating constraints into a stochastic gradient Langevin framework for the training of deep neural networks. Constraints allow direct control of the parameter space of the model. Appropriately designed, they reduce the vanishing/exploding gradient problem, control weight magnitudes and stabilize deep neural networks and thus improve the robustness of training algorithms and the generalization capabilities of the trained neural network. We present examples of constrained training methods motivated by orthogonality preservation for weight matrices and explicit weight normalizations. We describe the methods in the overdamped formulation of Langevin dynamics and the underdamped form, in which momenta help to improve sampling efficiency. The methods are explored in test examples in image classification and natural language processing.

연구 동기 및 목표

• 깊이 신경망 훈련에 제약 조건을 통합하기 위한 이론적으로 타당하고 유연한 프레임워크를 개발하는 것.
• 매개변수 공간에 직접적인 제어를 통해 기울기 소실/폭발 문제를 해결하고 훈련의 강건성을 향상시키는 것.
• 배치 정규화와 같은 암묵적 정규화 기법을 대체하거나 단순화하기 위해 명시적이고 해석 가능한 제약 조건을 도입하는 것.
• 제약 조건이 부여된 랑주비안 역학이 이미지 및 NLP 벤치마크에서 표준 SGD에 관성과 가중치 감쇠를 적용한 경우보다 뛰어난 성능을 보임을 입증하는 것.
• 딥러닝에 대한 통합적이고 에르고딕 샘플링 프레임워크를 제공하여 탐색 능력과 일반화 성능을 향상시키는 것.

제안 방법

• g(q) = 0로 정의된 제약 조건에 따라 매개변수 다양체 위에서 샘플링하기 위해 과다마찰 및 저마찰 랑주비안 역학을 사용한다.
• 부등식 제약 조건(예: 원형 제약 조건을 통한 가중치 크기의 경계 설정)을 처리하기 위해 여유 변수를 도입한다.
• 각 단계에서 제약 조건을 강제하기 위해 투영 기반 업데이트를 적용하여 매개변수들이 제약 다양체 위에 유지되도록 보장한다.
• 노이즈 항과 기울기 항을 포함한 수치적 통합을 위해 수정된 옐러-마르야모 스킴을 사용한다.
• 매개변수 행렬의 직교성 유지에 유도하는 투영 기반 방법을 통해 훈련 중에도 정규직교성을 유지한다.
• 온도 조절된 편향을 사용하여 샘플링 과정에서 탐색과 수렴 간의 균형을 조절한다.

실험 결과

연구 질문

• RQ1 대수적 제약 조건이 깊이 신경망의 확률적 경사 하강 훈련에 효율적으로 통합되어 일반화 성능 향상에 기여할 수 있는가?
• RQ2 제약 조건을 통해 직교성 또는 유한한 가중치 노름을 강제하면 기울기 소실/폭발 문제를 줄일 수 있는가?
• RQ3 제약 조건이 부여된 랑주비안 역학은 표준 SGD에 관성과 가중치 감쇠를 적용한 경우와 비교해 테스트 정확도 및 손실 측면에서 어떻게 성능을 내는가?
• RQ4 제약 기반 정규화가 배치 정규화와 같은 암묵적 정규화 기법을 대체하거나 단순화할 수 있는가?
• RQ5 제약 조건 강제가 다양한 아키텍처와 데이터셋에서 훈련 안정성과 수렴 속도에 미치는 영향은 어떠한가?

주요 결과

• ResNet-34를 CIFAR-10에서 훈련시킬 때, 직교성 제약 조건을 가진 o-CoLA-od 방법이 표준 SGD보다 낮은 테스트 손실과 높은 테스트 정확도를 달성하였으며, 일반화 성능 향상과 과적합 감소를 보였다.
• Fashion-MNIST 데이터셋에서 원형 제약 조건을 가진 네트워크는 87.61%의 테스트 정확도와 0.386의 테스트 손실을 기록하여, 관성과 가중치 감쇠를 적용한 SGD(최고 베이스라인: 87.47% 정확도)를 능가했다.
• Penn Treebank 데이터셋에서 c-CoLA-ud 방법은 200 에포크 후 표준 SGD-m보다 낮은 검증 손실을 기록하여 최적화 안정성 향상을 입증했다.
• 나선형 이진 분류 작업에서 τ = 0인 o-CoLA-od 방법은 제약 조건이 없는 SGD보다 더 낮은 손실과 더 나은 일반화 성능을 달성했다.
• 제약 조건이 부여된 랑주비안 방법은 이미지 분류, NLP, 합성 데이터 등 다양한 작업에서 일관된 성능 향상을 보이며 광범위한 적용 가능성을 보였다.
• 이 방법은 배치 정규화, 잔차 연결, 학습률 감쇠 없이도 안정적인 훈련을 가능하게 하였으며, 직교 초기화를 사용한 10,000층의 CNN 훈련을 통해 이를 입증했다.