[논문 리뷰] Generalization bounds for deep convolutional neural networks

Philip M. Long, Hanie Sedghi|arXiv (Cornell University)|2019. 05. 29.

Advanced Neural Network Applications참고 문헌 43인용 수 33

한 줄 요약

이 논문은 초기화로부터의 거리와 매개변수 수를 기준으로 입력 크기에 의존하지 않는 딥 CNN의 일반화 경계(bound)를 도출하고, CIFAR-10 실험으로 경계들을 검증한다.

ABSTRACT

We prove bounds on the generalization error of convolutional networks. The bounds are in terms of the training loss, the number of parameters, the Lipschitz constant of the loss and the distance from the weights to the initial weights. They are independent of the number of pixels in the input, and the height and width of hidden feature maps. We present experiments using CIFAR-10 with varying hyperparameters of a deep convolutional network, comparing our bounds with practical generalization gaps.

연구 동기 및 목표

• 완전 연결 모델을 넘어선 합성곱 신경망의 일반화를 동기 부여하고 분석한다.
• 입력 차원이 아니라 초기화로부터의 거리와 전체 매개변수 수에 의존하는 경계를 개발한다.
• convolutional weight-tying이 fully connected nets에 비해 유효 복잡도를 감소시킴을 보인다.
• 깊은 CNN에서의 초기화 및 학습 역학에 대한 실용적 시사점을 제시한다.

제안 방법

• 네트워크의 Lipschitz 특성과 커버링 넘버 기법을 사용하여 일반화 경계를 입증한다.
• 합성곱 커널과 마지막 계층 가중치에 대한 초기화로부터의 거리 척도를 정의한다.
• 이전 연구의 지수적인 깊이 의존성에 대하여 선형 깊이 의존성을 갖는 경계를 보인다.
• 커버링 넘버 기반 경계에 경험적 프로세스 bound(Giné and Guillou)을 적용한다.
• 두 가지 경계 형식을 도출한다: 학습/테스트 격차 경계와 상대 오차 형식의 경계.
• 정확한 Lipschitz 매개변수를 가진 일반 CNN+FC 구조로 경계를 확장한다.

실험 결과

연구 질문

• RQ1 CNN의 일반화 경계는 초기화로부터의 거리와 매개변수 수에 따라 어떻게 달라지는가?
• RQ2 CNN에 대한 경계가 입력 이미지 크기와 피처 맵 차원에 독립적으로 될 수 있는가?
• RQ3 네트워크 깊이가 도출된 일반화 경계에 미치는 영향은 무엇인가?
• RQ4 합성곱 가중치 타이잉과 초기화 스킴이 경계에 어떤 영향을 미치는가?
• RQ5 실험(CIFAR-10 등)이 이론적 경계와 하이퍼파라미터 전반에 걸쳐 일치하는가?

주요 결과

• 경계는 초기화로부터의 거리와 전체 매개변수 수에 비례해 확장되며 입력 크기와 독립적이다.
• 선형 깊이 의존의 경계가 달성되어, 초기 분석에서 흔히 보이던 지수 깊이 의존을 피한다.
• CIFAR-10 실험은 일반화 간격이 초기화로부터의 거리와 매개변수 수의 곱으로 확장될 때 증가함을 보여준다.
• 오버파라매니제이션 증가가 실제로 일반화 간격을 완만하게 만들 수 있으며, 관찰된 경향과 일치하고, 거리 지표가 이 동작을 설명하는 데 도움을 준다.
• 해석은 합성곱 층과 완전 연결 층을 결합한 네트워크에 적용되며, 이전의 완전 연결 네트워크 결과와 일치한다.
• 경계는 손실의 Lipschitz 특성 및 비확장 활성화와 커버링 넘버 주장을 활용하여 추정 오차를 한정한다.