[논문 리뷰] Inductive Bias of Multi-Channel Linear Convolutional Networks with Bounded Weight Norm

Meena Jagadeesan, Ilya Razenshteyn외 1명|arXiv (Cornell University)|2021. 02. 24.

Sparse and Compressive Sensing Techniques참고 문헌 28인용 수 6

한 줄 요약

이 논문은 유계 가중치 노름을 가진 다중 채널 선형 컨볼루션 네트워크의 귀납적 편향을 함수 공간에서 유도된 정규화항을 도출하여 특성화한다. 단일 채널 입력에 대해서는 정규화항이 출력 채널 수 C에 독립적이며, 준정방행렬계획문(SDP)을 이룬다; 다중 채널 입력에 대해서는 C에 의존하지만, 충분히 큰 C에 대해 안정화되어 C에 독립적인 SDP가 되며, 핵심 노름(K=1)과 ℓ₂,₁ 그룹 스퍼스 노름(K=D)의 폐쇄형 해를 가진다.

ABSTRACT

We provide a function space characterization of the inductive bias resulting from minimizing the $\ell_2$ norm of the weights in multi-channel convolutional neural networks with linear activations and empirically test our resulting hypothesis on ReLU networks trained using gradient descent. We define an induced regularizer in the function space as the minimum $\ell_2$ norm of weights of a network required to realize a function. For two layer linear convolutional networks with $C$ output channels and kernel size $K$, we show the following: (a) If the inputs to the network are single channeled, the induced regularizer for any $K$ is independent of the number of output channels $C$. Furthermore, we derive the regularizer is a norm given by a semidefinite program (SDP). (b) In contrast, for multi-channel inputs, multiple output channels can be necessary to merely realize all matrix-valued linear functions and thus the inductive bias does depend on $C$. However, for sufficiently large $C$, the induced regularizer is again given by an SDP that is independent of $C$. In particular, the induced regularizer for $K=1$ and $K=D$ (input dimension) is given in closed form as the nuclear norm and the $\ell_{2,1}$ group-sparse norm, respectively, of the Fourier coefficients of the linear predictor. We investigate the broader applicability of our theoretical results to implicit regularization from gradient descent on linear and ReLU networks through experiments on MNIST and CIFAR-10 datasets.

연구 동기 및 목표

• 다중 채널 선형 컨volution 네트워크에서 ℓ₂ 가중치 노름을 최소화할 때 학습된 예측기의 함수 공간이 어떻게 형성되는지 이해하기 위해.
• 네트워크 아키텍처, 특히 커널 크기 K와 출력 채널 수 C에 따라 함수를 실현하기 위해 필요한 최소 ℓ₂ 노름을 정규화항으로서 특성화하기 위해.
• 단일 또는 다중 채널 입력에 대해 출력 채널 수 C를 늘리면 표현 효율성이 향상되는지 조사하기 위해.
• 이론적 결과가 ReLU 네트워크에서 경사하강법의 암묵적 정규화에 광범위하게 적용 가능한지 테스트하기 위해.
• MNIST와 CIFAR-10에서 선형 및 ReLU 네트워크를 사용하여 이론적 예측을 실험적으로 검증하기 위해.

제안 방법

• 주어진 네트워크 아키텍처 Φ를 사용하여 함수 f를 실현하기 위해 필요한 최소 ℓ₂ 노름을 정규화항 RΦ(f)로 정의한다.
• C개의 출력 채널을 가진 두 층 선형 컨볼루션 네트워크에서, 단일 채널 입력에 대해 R×(K,C)는 준정방행렬계획문(SDP)으로 유도되며, 이는 C에 독립적임을 보여준다.
• 컨볼루션의 다항식 표현을 사용하여 SDP 완화의 날카로움을 증명하고, 질량 1 최적 해의 존재를 확립한다.
• 다중 채널 입력에 대해, 모든 행렬값 선형 함수를 실현하기 위해 C가 필요하지만, 충분히 큰 C에 대해 유도된 정규화항은 C에 독립적인 SDP로 안정화됨을 보여준다.
• 극한 커널 크기에서 유도된 정규화항의 폐쇄형 표현을 유도한다: K=1일 때는 핵심 노름, K=D(입력 차원)일 때는 ℓ₂,₁ 그룹 스퍼스 노름.
• MNIST와 CIFAR-10에서 실험을 통해 이론적 예측을 검증하며, 명시적 최소 노름 예측기(ℓ₂,₁, ℓ₁, ℓ₂)와 경사하강법 해를 비교한다.

실험 결과

연구 질문

• RQ1 유계 ℓ₂ 가중치 노름을 가진 선형 컨볼루션 네트워크에서 출력 채널 수 C는 유도된 정규화항에 어떤 영향을 미치는가?
• RQ2 단일 채널 입력에 대해 표현 비용(최소 ℓ₂ 가중치 노름)은 C에 독립적인가?
• RQ3 다중 채널 입력에 대해 유도된 정규화항은 C에 의존하는가? 만약 그렇다면, 어떤 조건에서 안정화되는가?
• RQ4 이론적 유도 정규화항은 ReLU 네트워크에서 경사하강법으로 관찰된 암묵적 편향을 예측할 수 있는가?
• RQ5 커널 크기 K와 입력 채널 구조는 학습된 예측기에서 스퍼스성과 채널 간 유사성에 어떤 영향을 미치는가?

주요 결과

• 단일 채널 입력에 대해, 유도된 정규화항은 출력 채널 수 C에 관계없이 독립적이다. 이는 커널 크기 K와 무관하다.
• 단일 채널 입력에 대해 유도된 정규화항은 준정방행렬계획문(SDP)으로 주어지며, 모든 C ≥ 1에 대해 날카로운 해를 가진다.
• 다중 채널 입력에 대해 유도된 정규화항은 C에 의존하지만, 충분히 큰 C에 대해 C에 독립적인 SDP로 수렴한다.
• K=1일 때, 유도된 정규화항은 선형 예측기의 푸리에 계수의 핵심 노름이다.
• K=D(입력 차원)일 때, 유도된 정규화항은 선형 예측기의 푸리에 계수의 ℓ₂,₁ 그룹 스퍼스 노름이다.
• MNIST와 CIFAR-10에서의 실험 결과, 과다 파rameter화된 네트워크에서의 경사하강법은 주파수 도메인에서의 스퍼스성과 채널 간 유사성을 가지는 예측기를 생성하며, 이는 특히 큰 커널 크기에서 이론적 예측과 일치한다.