[논문 리뷰] Size-free generalization bounds for convolutional neural networks

Philip M. Long, Hanie Sedghi|arXiv (Cornell University)|2019. 05. 29.

Advanced Neural Network Applications인용 수 20

한 줄 요약

이 논문은 입력 크기나 특징 맵 차원에 따라 달라지지 않는 크기 자유 generalization bounds를 합성곱 신경망에 대해 수립한다. 이는 입력 크기나 특징 맵 차원에 의존하지 않고, 훈련 손실, 파라미터 수, 손실의 리프시츠 상수, 초기화로부터의 가중치 거리에 기반한다. 이론적 분석 결과, CIFAR-10과 그 축소된 변형에서의 실험을 통해 기존 방법보다 실제 generalization gap과 더 밀접한 상관관계를 보임을 확인하였다.

ABSTRACT

We prove bounds on the generalization error of convolutional networks. The bounds are in terms of the training loss, the number of parameters, the Lipschitz constant of the loss and the distance from the weights to the initial weights. They are independent of the number of pixels in the input, and the height and width of hidden feature maps. We present experiments with CIFAR-10 and a scaled-down variant, along with varying hyperparameters of a deep convolutional network, comparing our bounds with practical generalization gaps.

연구 동기 및 목표

• 입력 크기나 특징 맵 차원에 따라 변하지 않는 합성곱 신경망의 generalization bounds를 개발하기 위해.
• 픽셀 수나 특징 맵의 공간적 치수에 의존하지 않는 bounds를 유도하여 다양한 네트워크 아키텍처에 더 넓은 적용 가능성을 확보하기 위해.
• 손실의 리프시츠 상수와 가중치가 초기화로부터 떨어진 거리를 포함시켜 generalization bounds의 날카움을 향상시키기 위해.
• 다양한 초모수 설정 하에서 CIFAR-10과 축소된 변형에서 실제 generalization gap과의 비교를 통해 제안된 bounds를 실증적으로 평가하기 위해.

제안 방법

• 라드엠처 복잡도와 가중치 경로 노름 분석을 이용한 generalization bounds 이론적 유도.
• 가중치 변동에 대한 민감도를 제어하기 위해 손실 함수의 리프시츠 상수를 통합.
• 최종 및 초기 네트워크 가중치 간 유클리드 거리를 bounds 식에 정규화 요소로 활용.
• 파라미터 수와 훈련 손실에 따라 스케일되지만, 입력 해상도나 특징 맵 크기에는 따라가지 않는 bounds 유도.
• 다양한 초모수 설정 하에서 CIFAR-10과 하향 샘플링된 버전에서 훈련된 딥 합성곱 신경망에 bounds 적용.

실험 결과

연구 질문

• RQ1 입력 크기나 특징 맵 차원에 의존하지 않는 CNN의 generalization bounds를 도출할 수 있는가?
• RQ2 훈련된 가중치가 초기화로부터 떨어진 거리가 generalization 오차에 어떤 영향을 미치는가?
• RQ3 제안된 bounds가 실질적인 generalization gap과 얼마나 밀접한 상관관계를 가지는가?
• RQ4 다양한 초모수 설정 하에서 deep convolutional networks에서 bounds는 어떻게 성능을 보이는가?

주요 결과

• 제안된 bounds는 입력의 픽셀 수나 특징 맵의 공간적 치수에 영향을 받지 않아 크기 자유 분석이 가능하다.
• bounds는 파라미터 수와 훈련 손실에 따라 스케일되지만, 입력 해상도나 네트워크 깊이의 공간적 치수에 따라 스케일되지 않는다.
• 손실의 리프시츠 상수와 초기화로부터의 가중치 거리가 포함되어 bounds의 날카움이 향상된다.
• CIFAR-10과 그 축소된 변형에서의 실증적 평가 결과, 기존 접근 방식보다 실제 generalization gap과 더 밀접한 상관관계를 보였다.