[논문 리뷰] Increasing Depth Leads to U-Shaped Test Risk in Over-parameterized Convolutional Networks

Eshaan Nichani, Adityanarayanan Radhakrishnan외 1명|arXiv (Cornell University)|2020. 10. 19.

Adversarial Robustness in Machine Learning참고 문헌 34인용 수 5

한 줄 요약

이 논문은 과다 파rameter화된 합성곱 신경망에서 깊이를 늘일수록 테스트 리스크 곡선이 U자 형태로 나타남을 보여준다—초기에는 감소하다가 다시 증가하며, 너비를 늘릴 경우 관찰되는 단조 감소와는 정반대이다. 깊이에 따라 변하는 특징 변환과 진짜 예측자 방향이 최적으로 일치하는 중간 깊이에서 테스트 리스크가 최소화됨을 증명하기 위해, 선형 합성곱 신경장치 탄성 커널(CNTK) 기반의 새로운 선형 회귀 프레임워크를 제안한다.

ABSTRACT

Recent works have demonstrated that increasing model capacity through width in over-parameterized neural networks leads to a decrease in test risk. For neural networks, however, model capacity can also be increased through depth, yet understanding the impact of increasing depth on test risk remains an open question. In this work, we demonstrate that the test risk of over-parameterized convolutional networks is a U-shaped curve (i.e. monotonically decreasing, then increasing) with increasing depth. We first provide empirical evidence for this phenomenon via image classification experiments using both ResNets and the convolutional neural tangent kernel (CNTK). We then present a novel linear regression framework for characterizing the impact of depth on test risk, and show that increasing depth leads to a U-shaped test risk for the linear CNTK. In particular, we prove that the linear CNTK corresponds to a depth-dependent linear transformation on the original space and characterize properties of this transformation. We then analyze over-parameterized linear regression under arbitrary linear transformations and, in simplified settings, provably identify the depths which minimize each of the bias and variance terms of the test risk.

연구 동기 및 목표

• 과다 파arameter화된 합성곱 신경망에서 깊이를 늘일 경우 테스트 리스크에 미치는 영향을 조사하고, 너비 스케일링에 관한 이전 연구와 대비한다.
• 해결되지 않은 열린 질문인, 보간 영역에서 깊이가 일반화 오차를 증가시키는지 감소시키는지에 대해 다룬다.
• 깊이에 따라 변하는 커널을 사용한 선형 회귀를 통해 깊이 효과를 분석하는 이론적 프레임워크를 개발한다.
• 과다 파arameter화된 모델에서 깊이에 따라 변화하는 테스트 리스크의 편향과 분산 성분을 특성화한다.
• ResNets와 선형 CNTK를 사용한 CIFAR10 및 MNIST 실험을 통해 U자형 테스트 리스크 곡선을 실증적으로 검증한다.

제안 방법

• 깊이 효과에 대한 테스트 리스크를 모델링하기 위해 선형 합성곱 신경장치 탄성 커널(CNTK) 기반의 선형 회귀 프레임워크를 제안한다.
• 재귀적 공식을 통해 깊이에 따라 변하는 특징 변환 행렬 $\Theta_D$를 유도하며, $K(x,x') = x^T \Theta_D x'$임을 보여준다.
• 다양한 네트워크 아키텍처에 대해 $\Theta_D$를 특성화하여 깊이가 입력 특징의 명시적 선형 변환과 연결됨을 밝힌다.
• 깊이에 따라 변하는 커널 $K(x,x') = x^T \Theta x'$를 사용한 선형 회귀의 편향-분산 분해를 수행하며, 편향과 분산을 최소화하는 조건을 규명한다.
• 분산이 $\Theta = \Sigma^{-1}$ (데이터 공분산의 역행렬)일 때 최소화되고, 편향이 $\Theta$가 진짜 예측자 $\beta$와 일치할 때 최소화됨을 증명한다.
• MNIST 및 CIFAR10에서의 실험을 통해 이론적 예측을 검증하며, 테스트 손실과 $\Theta_D$ 및 $\beta$ 사이의 정렬도를 측정한다.

실험 결과

연구 질문

• RQ1 과다 파arameter화된 CNN에서 깊이를 늘릴 경우, 너비 증가와 마찬가지로 테스트 리스크가 단조 감소하는가?
• RQ2 과다 파arameter화된 합성곱 신경망에서 테스트 리스크의 기능 형태는 깊이에 따라 어떻게 변하는가?
• RQ3 깊이에 따라 변하는 커널을 사용한 선형 회귀 모델에서 테스트 리스크의 편향과 분산 성분은 깊이에 따라 어떻게 변화하는가?
• RQ4 테스트 리스크가 최소화되는 깊이는 어느 정도이며, 최적의 깊이와 특징 변환 $\Theta_D$가 진짜 예측자와의 정렬도 사이의 관계는 무엇인가?
• RQ5 선형 CNTK 프레임워크는 심층 네트워크에서 관찰된 U자형 테스트 리스크 곡선을 설명할 수 있는가?

주요 결과

• ResNets와 무한한 너비의 CNTK를 사용한 CIFAR10 실험에서 깊이를 늘일 경우 테스트 리스크 곡선이 U자 형태로 나타남을 실증적으로 확인했다.
• 테스트 리스크는 가장 깊은 네트워크가 아니라 중간 깊이에서 최소화되며, 더 깊은 모델일수록 일반화 성능이 항상 향상된다는 가정과 정면으로 배치된다.
• 선형 CNTK를 사용한 선형 회귀에서 분산은 $\Theta_D = \Sigma^{-1}$일 때 최소화된다. 여기서 $\Sigma^{-1}$은 데이터 공분산의 역행렬이다.
• 편향은 $\Theta_D$가 진짜 예측자 방향 $\beta$와 가장 가까이 일치할 때 최소화되며, 이는 $\beta$에 수직인 스펙트럼의 비율로 측정된다.
• MNIST 0/1 숫자 분류 실험에서 테스트 손실은 U자형 곡선을 따르며, 이 최소 손실은 $\Theta_D$가 $\beta$의 방향과 가장 가까워지는 깊이에서 발생한다.
• U자형 행동는 극단적인 깊이에서 편향이나 분산이 최소화되지 않기 때문에 발생하며, 이는 양쪽 성분을 균형 있게 조절하는 최적의 중간 깊이에서 발생한다.