[논문 리뷰] Local Kernel Renormalization as a mechanism for feature learning in overparametrized Convolutional Neural Networks

Riccardo Aiudi, R. Pacelli외 3명|arXiv (Cornell University)|2023. 07. 21.

Machine Learning and ELMComputer Science인용 수 3

한 줄 요약

이 논문은 과다매개변수화된 컨volutional 신경망(CNNs)에서 특징 학습을 위한 국소적 커널 재정규화(local kernel renormalization)를 제안하며, 이는 완전연결(Fully Connected, FC) 신경망에서의 전역적 재정규화(global renormalization)와 대비된다. 비례한 극한 비율(P, N₁ → ∞ 이면서 α₁ = P/N₁ 고정)의 이론적 프레임워크를 사용하여, CNNs는 매개변수 행렬 Q̄ᵢⱼ를 통해 데이터에 따라 의존적이고 공간적으로 국소화된 커널 조정을 가능하게 하며, 이는 효과적인 특징 학습을 가능하게 한다. 반면 FC 네트워크는 단일 커널 매개변수를 전역적으로 재조정하기만 한다.

ABSTRACT

Feature learning, or the ability of deep neural networks to automatically learn relevant features from raw data, underlies their exceptional capability to solve complex tasks. However, feature learning seems to be realized in different ways in fully-connected (FC) or convolutional architectures (CNNs). Empirical evidence shows that FC neural networks in the infinite-width limit eventually outperform their finite-width counterparts. Since the kernel that describes infinite-width networks does not evolve during training, whatever form of feature learning occurs in deep FC architectures is not very helpful in improving generalization. On the other hand, state-of-the-art architectures with convolutional layers achieve optimal performances in the finite-width regime, suggesting that an effective form of feature learning emerges in this case. In this work, we present a simple theoretical framework that provides a rationale for these differences, in one hidden layer networks. First, we show that the generalization performance of a finite-width FC network can be obtained by an infinite-width network, with a suitable choice of the Gaussian priors. Second, we derive a finite-width effective action for an architecture with one convolutional hidden layer and compare it with the result available for FC networks. Remarkably, we identify a completely different form of kernel renormalization: whereas the kernel of the FC architecture is just globally renormalized by a single scalar parameter, the CNN kernel undergoes a local renormalization, meaning that the network can select the local components that will contribute to the final prediction in a data-dependent way. This finding highlights a simple mechanism for feature learning that can take place in overparametrized shallow CNNs, but not in shallow FC architectures or in locally connected neural networks without weight sharing.

연구 동기 및 목표

• 과다매개변수화된 CNNs가 둘 다 무한한 너비 극한에 있음에도 불구하고 완전연결 네트워크(Fully Connected Networks, FCNs)보다 일반화 성능이 뛰어나지 않는 이유를 설명하는 것.
• FC 네트워크에서 존재하지 않으며, 가중치 공유가 없는 국소 연결 네트워크에서도 존재하지 않는 CNNs에서의 특징 학습을 위한 고유한 메커니즘을 규명하는 것.
• 통계역학을 사용하여 일중간층 네트워크에서 전역적 및 국소적 커널 재정규화의 차이를 수식화하는 것.
• CNNs에서 국소적 커널 재정규화가 데이터에 따라 의존적이고 공간적으로 적응적인 특징 선택을 가능하게 하여 일반화 성능을 향상시킬 수 있음을 보여주는 것.

제안 방법

• 통계장 이론을 사용하여 비례한 극한(P, N₁ → ∞ 이면서 α₁ = P/N₁ 고정)에서 일중간층 CNN의 효과적 작용(effective action)을 유도한다.
• 유도된 커널 구조를 FC 네트워크와 비교하여, CNNs가 공간 인덱스 i, j를 포함한 네 인덱스의 국소적 커널 Kᵢⱼ^{μν}를 나타냄을 보여준다.
• CNNs가 매개변수 행렬 Q̄ᵢⱼ를 통해 국소적이고 데이터에 따라 의존적인 조정을 가능하게 하며, 이는 FC 네트워크가 단일 스칼라 매개변수 Q̄만을 사용하는 것과 대비됨을 규명한다.
• 신경망 출력을 모델링하고 훈련 중 커널의 진화를 분석하기 위해 가우시안 프로세스 프레임워크(NNGP)를 활용한다.
• CIFAR10 이진 분류를 사용한 유한한 크기의 스케일링 실험을 통해 이론적 예측을 검증하며, 전체 배치 경사하강법과 ADAM 최적화기를 사용하여 훈련한다.
• 5×10⁶ 에포크 동안 후행 분포를 샘플링하고 일반화 손실을 평가하기 위해 T = η = 2×10⁻³로 디지털화된 랭게빈 역학을 적용한다.

실험 결과

연구 질문

• RQ1 과다매개변수화된 CNNs가 둘 다 무한한 너비 극한에 있음에도 불구하고 완전연결 네트워크보다 일반화 성능이 뛰어나지 않는 이유는 무엇인가요?
• RQ2 FC 네트워크나 가중치 공유가 없는 국소 연결 네트워크에서는 존재하지 않지만 CNNs에서는 존재하는 특징 학습을 가능하게 하는 메커니즘은 무엇인가요?
• RQ3 비례한 극한에서 CNNs의 커널 구조는 FC 네트워크와 어떻게 다릅니까?
• RQ4 CNNs에서 국소적 커널 재정규화는 데이터에 따라 의존적이고 공간적으로 적응적인 커널 행렬 조정으로 공식화될 수 있나요?
• RQ5 국소적 커널 재정규화는 FC 네트워크의 전역적 재정규화에 비해 일반화 성능을 어느 정도 향상시키나요?

주요 결과

• 비례한 극한에서, FC 네트워크는 단일 스칼라 매개변수 Q̄를 통해 전체 커널 행렬 Kᵢⱼ^{μν}를 균일하게 재조정하는 전역적 커널 재정규화를 수행한다.
• 반면, CNNs는 매개변수 행렬 Q̄ᵢⱼ를 통해 국소적 커널 재정규화를 수행하여 데이터에 따라 의존적이고 공간적으로 국소화된 조정을 가능하게 한다.
• 국소적 커널 Kᵢⱼ^{μν}는 이미지 패치 간의 공간적 상관관계를 포착하여 네트워크가 관련 있는 국소적 특징을 선택적으로 강조할 수 있도록 한다.
• 유한한 크기의 스케일링 실험을 통해 CNNs는 커널 행렬에 비정상적인 평균 이동(예: α₁ = 1일 때 ΔK̄_{μν}|₁₁ ≈ -1.045)을 보이며, 반면 FC 네트워크는 일관된 음의 분산 경향(σ²(ΔK_{μν}|₀₁) ≈ -2.15 ± 0.01)을 보여 전역 조정임을 시사한다.
• N₀ = 6400 및 N₀ = 1600에서의 실험을 통해 입력 크기 변화에 관계없이 국소 재정규화 효과의 강건성을 확인하였으며, CNNs는 상당한 커널 이동(예: α₁ = 10일 때 ΔK̄_{μν}|₁₁ ≈ 0.998)을 보였고, FC 네트워크는 여전히 전역적으로 조정됨을 확인하였다.
• 이론적 및 실험적 결과는 국소적 커널 재정규화가 FC 네트워크와 가중치 공유가 없는 국소 연결 네트워크에서 존재하지 않는 CNNs에서의 특징 학습을 위한 고유한 메커니즘이라는 점을 확인한다.