[논문 리뷰] Do Deeper Convolutional Networks Perform Better

Eshaan Nichani, Adityanarayanan Radhakrishnan외 1명|arXiv (Cornell University)|2021. 05. 04.

Advanced Neural Network Applications참고 문헌 4인용 수 7

한 줄 요약

이 논문은 깊이를 늘일수록 합성곱 신경망의 일반화 성능에 미치는 영향을 조사하며, 너비에서 관찰되는 잘 알려진 더블 디센트 곡선과 대조된다. ResNets와 완전 합성곱 신경망을 사용해 CIFAR-10과 ImageNet-32에서 실험한 결과, 임계 깊이를 초과하면 테스트 오차가 증가함을 발견하여, 깊이가 너비처럼 일반화를 향상시키지 못할 수 있음을 시사한다. 저자들은 이 현상이 선형 네트워크에서 최소 노름 해법과 관련이 있음을 연결하며, 깊이에 따른 성능 저하에 대한 이론적 설명을 제시한다.

ABSTRACT

Over-parameterization is a recent topic of much interest in the machine learning community. While over-parameterized neural networks are capable of perfectly fitting (interpolating) training data, these networks often perform well on test data, thereby contradicting classical learning theory. Recent work provided an explanation for this phenomenon by introducing the double descent curve, showing that increasing model capacity past the interpolation threshold leads to a decrease in test error. In line with this, it was recently shown empirically and theoretically that increasing neural network capacity through width leads to double descent. In this work, we analyze the effect of increasing depth on test performance. In contrast to what is observed for increasing width, we demonstrate through a variety of classification experiments on CIFAR10 and ImageNet-32 using ResNets and fully-convolutional networks that test performance worsens beyond a critical depth. We posit an explanation for this phenomenon by drawing intuition from the principle of minimum norm solutions in linear networks.

연구 동기 및 목표

• 합성곱 신경망에서 깊이를 늘일수록 테스트 성능에 어떤 영향을 미치는지, 특히 보간 임계점 이후로도 조사하기.
• 너비가 테스트 오차의 더블 디센트를 유도한다는 점을 감안할 때, 깊이와 너비가 일반화에 미치는 영향을 대조하기.
• 과도하게 파rameter화되어 있음에도 불구하고 더 깊은 네트워크가 일반화 성능이 떨어지는 이유를 선형 네트워크의 최소 노름 해법에서 유래한 통찰을 통해 설명하기.
• ResNets와 완전 합성곱 아키텍처를 사용해 CIFAR-10과 ImageNet-32와 같은 표준 벤치마크에서 깊이 스케일링을 실증적으로 평가하기.

제안 방법

• CIFAR-10과 ImageNet-32에서 ResNets와 완전 합성곱 신경망의 다양한 깊이에서 테스트 정확도를 실증적으로 평가하기.
• 네트워크 깊이에 따른 테스트 오차 측정을 통해 깊이에서의 더블 디센트 현상 분석하기.
• 관측된 성능 저하를 설명하기 위해 선형 네트워크에서 최소 노름 해법에서 유도된 이론적 통찰 제공하기.
• 이전에 확립된 너비에 기인한 더블 디센트 곡선과 깊이 스케일링 행동을 비교하기.
• 기타 하이퍼파ram터를 일정하게 유지하면서 깊이의 영향을 고립시키기 위한 통제된 실험 수행하기.

실험 결과

연구 질문

• RQ1 네트워크 깊이를 늘일수록 너비와 유사하게 테스트 성능이 향상되는가?
• RQ2 임계 깊이를 초과하면 테스트 오차가 증가하는가? 이는 깊이에 기인한 더블 디센트의 형태로 간주될 수 있는가?
• RQ3 과도하게 파rameter화되어 있음에도 불구하고 더 깊은 네트워크가 일반화 성능이 떨어지는 이유는 무엇인가? 너비와는 대조되는가?
• RQ4 선형 네트워크에서 최소 노름 해법 원칙이 관측된 깊이에 따른 성능 저하를 설명할 수 있는가?

주요 결과

• ResNets와 완전 합성곱 신경망 모두에서 CIFAR-10과 ImageNet-32에서 임계 깊이를 초과하면 테스트 성능이 악화된다.
• 너비가 보간 임계점 이후에 테스트 오차가 감소하는 더블 디센트 곡선을 보이는 데 반해, 깊이는 이러한 유익한 행동을 보이지 않는다.
• 성능 저하 현상은 여러 아키텍처와 데이터셋에서 일관되게 나타나며, 이는 근본적인 제약임을 시사한다.
• 이 현상은 선형 네트워크에서 최소 노름 해법과의 유사성을 통해 설명되며, 더 깊은 모델이 일반화가 열악한 더 높은 노름 해법으로 수렴할 수 있음을 시사한다.