[논문 리뷰] How does Weight Correlation Affect Generalisation Ability of Deep Neural Networks

Gaojie Jin, Xinping Yi외 4명|arXiv (Cornell University)|2020. 09. 27.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 신경망 복잡도의 새로운 측정법으로 가중치 상관관계를 제안하고, 이를 PAC-Bayesian 프레임워크에 통합하여 일반화 경계를 향상시킨다. 저자들은 가중치 상관관계를 감소시키는 새로운 정규화 항을 제안함으로써 여러 실험에서 일반화 오차를 크게 감소시켰으며, 기존의 복잡도 측정법들을 능가하는 성능을 보였다.

ABSTRACT

This paper studies the novel concept of weight correlation in deep neural networks and discusses its impact on the networks' generalisation ability. For fully-connected layers, the weight correlation is defined as the average cosine similarity between weight vectors of neurons, and for convolutional layers, the weight correlation is defined as the cosine similarity between filter matrices. Theoretically, we show that, weight correlation can, and should, be incorporated into the PAC Bayesian framework for the generalisation of neural networks, and the resulting generalisation bound is monotonic with respect to the weight correlation. We formulate a new complexity measure, which lifts the PAC Bayes measure with weight correlation, and experimentally confirm that it is able to rank the generalisation errors of a set of networks more precisely than existing measures. More importantly, we develop a new regulariser for training, and provide extensive experiments that show that the generalisation error can be greatly reduced with our novel approach.

연구 동기 및 목표

• 딥 신경망의 일반화 능력에 가중치 상관관계(가중치 벡터 간余弦 유사도로 정의됨)가 미치는 영향을 조사하는 것.
• 가중치 상관관계를 일반화 경계에 통합함으로써 PAC-Bayesian 프레임워크를 확장하는 것.
• 기존 방법들보다 더 정확하게 일반화 오차를 순위 매길 수 있는 새로운 복잡도 측정법을 개발하는 것.
• 학습 중에 가중치 상관관계를 직접 제어할 수 있도록 설계된 새로운 정규화 항을 개발하고 평가하는 것.

제안 방법

• 완전히 연결된 레이어의 뉴런 가중치 벡터 간 및 컨볼루션 레이어의 필터 행렬 간 평균 코사인 유사도로 가중치 상관관계를 정의한다.
• 이론적으로 가중치 상관관계를 PAC-Bayesian 프레임워크에 통합하여, 가중치 상관관계에 대해 단조롭게 변화하는 일반화 경계를 유도한다.
• 가중치 상관관계를 구조적 정규화 항으로 포함시켜 표준 PAC-Bayes 경계를 향상시킨 새로운 복잡도 측정법을 제안한다.
• 백프로파게이션 동안 높은 가중치 상관관계를 방지하도록 페널티를 주는 미분 가능 정규화 항을 설계한다.
• 다양한 아키텍처와 데이터셋에서 제안된 정규화 항을 사용하거나 사용하지 않고 네트워크를 학습시켜 일반화 성능을 평가한다.
• 실증적 일반화 오차 순위를 기반으로 제안된 복잡도 측정법을 기존 측정법들과 비교한다.

실험 결과

연구 질문

• RQ1 가중치 상관관계는 딥 신경망의 일반화 성능에 어떤 영향을 미치는가?
• RQ2 가중치 상관관계를 공식적으로 PAC-Bayesian 일반화 경계에 통합할 수 있는가? 이를 통해 더 날카우며 정보가 풍부한 경계를 도출할 수 있는가?
• RQ3 가중치 상관관계를 포함하는 복잡도 측정법이 기존 측정법보다 일반화 오차를 더 정확하게 예측할 수 있는가?
• RQ4 가중치 상관관계를 감소시키는 정규화 항을 통해 학습 도중 일반화 성능을 향상시킬 수 있는가?
• RQ5 실제로 제안된 방법은 최신의 복잡도 측정법과 정규화 기법들에 비해 어떻게 비교되는가?

주요 결과

• 가중치 상관관계를 포함한 제안된 일반화 경계는 상관관계에 대해 단조롭게 변화하므로, 낮은 상관관계일수록 더 날카운 경계를 제공한다.
• 가중치 상관관계를 포함한 새로운 복잡도 측정법은 기존 측정법들보다 다양한 네트워크의 일반화 오차를 더 정확하게 순위 매긴다.
• 제안된 정규화 항은 다양한 데이터셋과 네트워크 아키텍처에서 일반화 오차를 크게 감소시킨다.
• 실험 결과, 제안된 정규화 항을 사용한 학습이 기준 모델에 비해 더 낮은 테스트 오차를 기록함을 확인했다.
• 이론적 주장이 가중치 상관관계의 역할을 뒷받침함을 확인하기 위해, 일반화 성능 향상이 일관되게 관찰되었다.