[논문 리뷰] Projection Based Weight Normalization for Deep Neural Networks

Lei Huang, Xianglong Liu외 2명|arXiv (Cornell University)|2017. 10. 06.

Advanced Neural Network Applications참고 문헌 32인용 수 14

한 줄 요약

이 논문은 각 뉴런의 입력 가중치를 옴니버스 매니폴드 위로 투영함으로써 단위 노름(unit-norm)으로 제약을 두는 투영 기반 가중치 정규화(Projection-Based Weight Normalization, PBWN)를 제안한다. 이는 딥 네ural 네트워크의 최적화 안정성과 성능을 향상시킨다. PBWN은 일반화 성능을 향상시키며 배치 정규화와 잘 통합되어, CIFAR-10, CIFAR-100, SVHN, ImageNet 및 반감독 학습을 위한 래더 네트워크에서 이전 방법들을 능가한다. 계산 오버헤드도 최소한이다.

ABSTRACT

Optimizing deep neural networks (DNNs) often suffers from the ill-conditioned problem. We observe that the scaling-based weight space symmetry property in rectified nonlinear network will cause this negative effect. Therefore, we propose to constrain the incoming weights of each neuron to be unit-norm, which is formulated as an optimization problem over Oblique manifold. A simple yet efficient method referred to as projection based weight normalization (PBWN) is also developed to solve this problem. PBWN executes standard gradient updates, followed by projecting the updated weight back to Oblique manifold. This proposed method has the property of regularization and collaborates well with the commonly used batch normalization technique. We conduct comprehensive experiments on several widely-used image datasets including CIFAR-10, CIFAR-100, SVHN and ImageNet for supervised learning over the state-of-the-art convolutional neural networks, such as Inception, VGG and residual networks. The results show that our method is able to improve the performance of DNNs with different architectures consistently. We also apply our method to Ladder network for semi-supervised learning on permutation invariant MNIST dataset, and our method outperforms the state-of-the-art methods: we obtain test errors as 2.52%, 1.06%, and 0.91% with only 20, 50, and 100 labeled samples, respectively.

연구 동기 및 목표

• 스케일 기반 가중치 공간 대칭성으로 인해 발생하는 딥 네ural 네트워크 최적화의 악조건 문제를 해결하기 위해.
• 입력 가중치를 단위 노름으로 제약하여 최적화 안정성과 일반화 성능을 향상시키고, 헤시안 행렬의 조건 수를 개선하기 위해.
• 배치 정규화와 원활하게 통합될 수 있는 효율적이고 데이터에 의존하지 않는 가중치 정규화 방법을 개발하기 위해.
• 다양한 아키텍처와 데이터셋에서, 특히 지도 학습 및 반감독 학습 환경에서 일관된 성능 향상을 입증하기 위해.

제안 방법

• 해당 방법은 각 뉴런의 입력 가중치 벡터가 단위 노름을 유지하도록 옴니버스 매니폴드 위에서 제약된 최적화 문제로 가중치 최적화를 수립한다.
• 표준 확률적 경사 하강법을 수행한 후, 업데이트된 가중치를 다시 옴니버스 매니폴드 위로 투영하는 두 단계 업데이트를 수행한다.
• 투영 과정을 통해 각 업데이트 후에도 입력 가중치 벡터가 단위 노름을 유지하게 되어 정규화 효과가 유지된다.
• 이 방법은 동적 정규화 계수를 갖는 적응형 가중치 감쇠와 유사하게 작용하며, 최적화 안정성을 향상시킨다.
• 배치 정규화와 호환되며, 기울기 클리핑이나 특수한 모멘타 조정이 필요하지 않다.
• 계산적으로 효율적이며, 표준 학습 대비 거의 무시할 만한 오버헤드만을 유발한다.

실험 결과

연구 질문

• RQ1 입력 가중치를 단위 노름으로 제약하는 것이, ReLU 네트워크에서 스케일 기반 가중치 공간 대칭성으로 인한 악조건 문제를 완화할 수 있는가?
• RQ2 기존의 정규화 기법들인 가중치 감쇠, 최대 노름, 배치 정규화와 비교할 때, 투영 기반 가중치 정규화는 일반화 성능과 학습 안정성 측면에서 어떻게 성능을 내는가?
• RQ3 아키텍처나 하이퍼파라미터 조정 없이도 PBWN이 다양한 딥 러닝 아키텍처에서 성능 향상을 이룰 수 있는가?
• RQ4 특히 레이블이 제한된 경우, PBWN은 반감독 학습 환경에서 성능 향상을 이룰 수 있는가?
• RQ5 PBWN은 배치 정규화와 어떻게 상호작용하는가? 상호보완적인 이점을 제공하는가?

주요 결과

• PBWN은 Inception, VGG, 잔차 네트워크를 포함한 여러 최신 아키텍처를 활용해 CIFAR-10, CIFAR-100, SVHN, ImageNet에서 테스트 정확도를 향상시켰다.
• 순서가 중요하지 않은 MNIST 데이터셋에서, 각각 20개, 50개, 100개의 레이블 데이터를 사용했을 때 PBWN은 각각 2.52%, 1.06%, 0.91%의 테스트 오차를 기록했으며, 최신 반감독 학습 방법들을 능가했다.
• 계산 오버헤드가 거의 없어 대규모 학습에 실용적이다.
• PBWN은 헤시안 행렬의 조건 수를 개선하는 방식으로, 가중치 감쇠와 유사한 적응형 정규화 효과를 암묵적으로 제공한다.
• 배치 정규화와 잘 통합되며, 추가 하이퍼파라미터 튜닝이나 기울기 클리핑이 필요하지 않다.
• 실험 결과 PBWN은 효과성과 계산 효율성 측면에서 가중치 정규화를 모두 능가한다.