[논문 리뷰] Asymptotics of Wide Convolutional Neural Networks

Anders Andreassen, Ethan Dyer|arXiv (Cornell University)|2020. 08. 19.

Stochastic Gradient Optimization Techniques참고 문헌 34인용 수 14

한 줄 요약

이 논문은 넓은 컨volution 신경망(CNN)에 대한 스케일링 법칙을 유도하기 위해 다이어그램 기반 프레임워크를 개발한다. 유한한 너비를 가진 CNN은 유한 너비 보정이 n⁻¹로 감소하기 때문에 실질적으로 무한 너비 대비 모델보다 성능이 뛰어나다는 것을 보여준다. 저자들은 유한 너비와 무한 너비 모델 간의 테스트 손실 차이가 𝒪(n⁻¹)로 스케일링됨을 입증하며, 이는 유한 너비 네트워크가 최적화 세부 사항에 따라 일반화 성능이 더 좋거나 나쁠 수 있다는 경험적 관찰과 일치한다.

ABSTRACT

Wide neural networks have proven to be a rich class of architectures for both theory and practice. Motivated by the observation that finite width convolutional networks appear to outperform infinite width networks, we study scaling laws for wide CNNs and networks with skip connections. Following the approach of (Dyer & Gur-Ari, 2019), we present a simple diagrammatic recipe to derive the asymptotic width dependence for many quantities of interest. These scaling relationships provide a solvable description for the training dynamics of wide convolutional networks. We test these relations across a broad range of architectures. In particular, we find that the difference in performance between finite and infinite width models vanishes at a definite rate with respect to model width. Nonetheless, this relation is consistent with finite width models generalizing either better or worse than their infinite width counterparts, and we provide examples where the relative performance depends on the optimization details.

연구 동기 및 목표

• 유한 너비 컨볼루션 신경망(CNN)이 무한 너비 대비 모델보다 자주 성능이 뛰어나는 이유를 이해하기 위해
• 스킵 연결과 풀링 레이어를 가진 컨볼루션 아키텍처로 무한 너비 신경 터널 커널(NTK) 형식을 확장하기 위해
• 도표 기반 기법을 사용하여 넓은 CNN에서 상관 함수에 대한 일반적인 스케일링 법칙을 도출하기 위해
• 너비에 따라 변하는 보정을 통해 유한 너비 CNN이 무한 너비 근사에 수렴하는 속도를 정량화하기 위해
• 딥 비선형 CNN에서 손실과 NTK 분산의 예측된 𝒪(n⁻¹) 스케일링을 경험적으로 검증하기 위해

제안 방법

• 이전의 완전히 연결된 네트워크 연구를 확장하여, 넓은 CNN에서 상관 함수를 계산하기 위한 피나치 규칙 기반의 일반화된 다이어그램 기반 방법을 제안한다.
• 컨볼루션, 스킵, 밀집, 글로벌 평균 풀링 레이어를 포함한 CNN에서 상관 함수에 대한 스케일링 안자수를 도입한다.
• 이 안자수를 사용하여 NTK와 선형화된 학습 동역학에 대한 유한 너비 보정을 경계한다.
• 이 형식을 적용하여 학습 중 NTK와 손실의 기대 진동을 계산하며, 보정이 𝒪(n⁻¹)로 스케일링됨을 보여준다.
• CIFAR-10과 MNIST 서브셋에서 다양한 너비로 유한 너비 CNN의 손실 차이와 NTK 분산의 𝒪(n⁻¹) 스케일링을 경험적으로 검증한다.
• 가중치 초기화와 모멘트 계산을 통해 깊은 선형 CNN과 한 은닉층을 가진 비선형 CNN에서 NTK 분산의 𝒪(n⁻¹) 스케일링을 증명한다.

실험 결과

연구 질문

• RQ1 컨볼루션 신경망에서 유한 너비 보정은 네트워크 너비에 따라 어떻게 스케일링되는가?
• RQ2 무한 너비 모델이 분석적으로 더 단순한 데도 불구하고, 유한 너비 CNN이 때로는 더 성능이 뛰어나게 되는 이유는 무엇인가?
• RQ3 스킵 연결과 풀링 레이어를 가진 넓은 CNN의 점근적 행동을 기술하는 통합된 다이어그램 기반 프레임워크가 가능한가?
• RQ4 테스트 손실과 NTK 진동 측면에서, 유한 너비 CNN이 무한 너비 근사에 수렴하는 속도는 어떠한가?
• RQ5 유한 너비 대비 무한 너비 모델의 상대적 성능은 정지 기준과 같은 최적화 하이퍼파rameter에 따라 달라지는가?

주요 결과

• 유한 너비와 무한 너비 CNN 간의 테스트 손실 차이는 𝒪(n⁻¹)로 스케일링됨을 확인하여, 보편적인 수렴 속도를 입증한다.
• CIFAR-10과 MNIST에서의 경험적 결과는 예측된 𝒪(n⁻¹) 스케일링이 다양한 아키텍처와 활성화 함수에서 손실 차이를 정확히 기술함을 보여준다.
• 깊은 선형 CNN에서 NTK 분산이 𝒪(n⁻¹)로 스케일링됨을 증명하였다. 이는 컨볼루션, 스킵, 글로벌 평균 풀링 레이어를 포함한다.
• 한 은닉층을 가진 비선형 CNN의 경우, 가중치 모멘트 기대값의 직접 계산을 통해 NTK 분산이 역시 𝒪(n⁻¹)로 스케일링됨을 보였다.
• 유한 너비 CNN은 학습 하이퍼파rameter에 따라 무한 너비 대비 모델보다 성능이 뛰어나거나 열 劣할 수 있으며, 이는 𝒪(n⁻¹) 보정 모델과 일치한다.
• 제안된 다이어그램 기반 방법은 무한 너비 형식을 컨볼루션 아키텍처로 성공적으로 일반화하여, 유한 너비 효과의 체계적 분석을 가능하게 하였다.