[논문 리뷰] Spectral Norm Regularization for Improving the Generalizability of Deep Learning

Yuichi Yoshida, Takeru Miyato|arXiv (Cornell University)|2017. 05. 31.

Neural Networks and Applications참고 문헌 28인용 수 218

한 줄 요약

논문은 스펙트럴 노름 정규화를 제안하여 가중치 행렬의 스펙트럴 노름을 한정하고 입력 교란에 대한 민감도를 줄이며 일반화 성능을 개선하려는 것을 목표로 하며, 여러 CNN 아키텍처와 데이터셋에서 시연된다.

ABSTRACT

We investigate the generalizability of deep learning based on the sensitivity to input perturbation. We hypothesize that the high sensitivity to the perturbation of data degrades the performance on it. To reduce the sensitivity to perturbation, we propose a simple and effective regularization method, referred to as spectral norm regularization, which penalizes the high spectral norm of weight matrices in neural networks. We provide supportive evidence for the abovementioned hypothesis by experimentally confirming that the models trained using spectral norm regularization exhibit better generalizability than other baseline methods.

연구 동기 및 목표

• 입력 교란 민감도를 통한 일반화 연구의 필요성 동기 부여.
• 가중치 행렬의 큰 스펙트럴 노름을 페널티하는 스펙트럴 노름 정규화 제안.
• 특히 큰 미니배치에서 스펙트럴 노름 정규화가 일반화 및 테스트 정확도를 개선함을 보임.
• 스펙트럴 노름 정규화를 가중치 감소, 적대적 훈련, 야코비안 정규화와 비교.
• 입력 교란 민감도와 일반화 성능 간의 관계에 대한 통찰 제공

제안 방법

• 경험적 위험 최소화에 (lambda/2) sum_l sigma(W^l)^2 를 추가하는 형태로 스펙트럴 노름 정규화를 공 formally 정의한다.
• 효율성을 위해 한 번의 거듭제곱 방법으로 스펙트럴 노름의 근사 기울기를 계산한다.
• 피드포워드 네트워크의 모든 가중치 행렬에 규칙화를 적용하되 합성곱 층은 행렬로 재구성하여 적용한다.
• 여러 네트워크와 데이터셋에서 Nesterov 모멘텀을 갖춘 SGD 및 그리드 탐색 하이퍼파라미터를 사용한다.
• CIFAR-10/100 및 STL-10 데이터셋을 사용하여 가중치 감소 및 적대적 훈련과 비교한다.

실험 결과

연구 질문

• RQ1 가중치 행렬의 스펙트럴 노름을 제한하는 것이 보지 못한 데이터에 대한 일반화를 개선하는가?
• RQ2 일반적인 규제자(가중치 감소, 적대적 훈련)와 비교하여 테스트 정확도와 일반화 차이에 스펙트럴 노름 정규화가 어떤 차이를 보이는가?
• RQ3 테스트 데이터 교란에 대한 불민감성이 딥 네트워크의 일반화 성능의 핵심 예측인가?
• RQ4 가중치 행렬의 스펙트럼에 대한 스펙트럴 노름 정규화의 영향은 무엇인가?
• RQ5 소규모 vs 대규모 미니배치 구간에서 스펙트럴 노름 정규화의 성능은 어떻게 다른가?

주요 결과

• 여러 모델에서 특히 대형 미니배치 구간에서 스펙트럴 노름 정규화가 가장 높은 테스트 정확도를 보인다.
• 모델과 데이터셋 전반에서 스펙트럴 노름 정규화가 일관되게 가장 작은 일반화 차이를 달성한다.
• 테스트 데이터에 대한 기울기 노름이 일반화 차이와 상관관계를 가지며, 스펙트럴 노름 정규화는 입력 교란에 대한 민감도를 감소시킨다.
• 스펙트럴 노름 정규화는 가중치 행렬의 특잇값 스펙트럼을 평탄화하는 경향이 있어 가장 큰 특이값을 감소시킨다.
• 학습 손실의 최대 해essian 고유값은 스펙트럴 노름 정규화를 사용할 때 일반화의 신뢰 있는 예측자가 아니다.
• 스펙트럴 노름 정규화는 일반 가중치 감소보다 모델 용량을 더 잘 보존하면서도 일반화를 개선한다.