[논문 리뷰] The loss surface and expressivity of deep convolutional neural networks

Quynh Nguyen, Matthias Hein|arXiv (Cornell University)|2017. 10. 30.

Adversarial Robustness in Machine Learning참고 문헌 65인용 수 18

한 줄 요약

이 논문은 공유 가중치와 맥스 풀링을 갖는 넓은 실용적 딥 컨volution 신경망(CNN)의 손실 표면과 표현 능력을 분석한다. 넓은 CNN의 한 층에 학습 샘플 수보다 더 많은 뉴런이 있을 경우 선형적으로 독립적인 특징을 생성하며, 이러한 넓은 네트워크에서는 경험적 손실의 거의 모든 임계점이 훈련 오차가 0인 전역 최솟값임을 증명한다—이는 넓이로 인해 최적화 경로가 잘 조율되어 있음을 시사한다.

ABSTRACT

We analyze the expressiveness and loss surface of practical deep convolutional neural networks (CNNs) with shared weights and max pooling layers. We show that such CNNs produce linearly independent features at a layer which has more neurons than the number of training samples. This condition holds e.g. for the VGG network. Furthermore, we provide for such wide CNNs necessary and sufficient conditions for global minima with zero training error. For the case where the wide layer is followed by a fully connected layer, we show that almost every critical point of the empirical loss is a global minimum with zero training error. Our analysis suggests that both depth and width are very important in deep learning. While depth brings more representational power and allows the network to learn high level features, width smoothes the optimization landscape of the loss function in the sense that a sufficiently wide network has a well-behaved loss surface with potentially no bad local minima.

연구 동기 및 목표

• 공유 가중치와 맥스 풀링을 갖는 실용적 딥 CNN의 표현 능력과 최적화 성질을 이해하기 위해.
• 네트워크의 넓이가 손실 표면과 전역 최솟값 존재 여부에 미치는 영향을 조사하기 위해.
• 넓은 CNN이 전역 최솟값과 함께 훈련 오차가 0이 되는 조건을 특정하기 위해.
• 딥 러닝에서 깊이와 넓이가 최적화 경로에 미치는 상호 보완적 역할을 명확히 하기 위해.

제안 방법

• 학습 샘플 수보다 더 많은 뉴런을 갖는 은닉 층을 가진 공유 가중치와 맥스 풀링 레이어를 갖는 CNN의 이론적 분석.
• 넓은 CNN에서 훈련 오차가 0인 전역 최솟값을 위한 필요 및 충분 조건 유도.
• 넓은 층이 완전 연결 층에 이어지는 넓은 CNN에서 거의 모든 임계점이 훈련 오차가 0인 전역 최솟값임을 증명.
• 선형 대수학과 최적화 이론을 활용하여 넓은 네트워크에서 손실 표면의 구조 분석.
• 네트워크의 넓이와 경험적 손실 함수의 기하학적 성질 간의 상호작용에 집중.

실험 결과

연구 질문

• RQ1 넓은 CNN이 전역 최솟값과 함께 훈련 오차가 0이 되는 조건은 무엇인가?
• RQ2 네트워크의 넓이가 CNN의 손실 표면 기하학에 어떤 영향을 미치는가?
• RQ3 최적화 경로에서 넓이와 깊이의 역할은 각각 무엇인가?
• RQ4 왜 넓은 CNN은 더 좁은 네트워크보다 나쁜 국소 최솟값이 적은가?

주요 결과

• CNN의 한 층에 학습 샘플 수보다 더 많은 뉴런이 있을 경우 선형적으로 독립적인 특징을 생성한다.
• 학습 샘플 수보다 더 많은 뉴런을 갖는 넓은 CNN에서 훈련 오차가 0인 전역 최솟값을 위한 필요 및 충분 조건이 도출된다.
• 넓은 층이 완전 연결 층에 이어지는 넓은 CNN에서 경험적 손실의 거의 모든 임계점이 훈련 오차가 0인 전역 최솟값이다.
• 네트워크의 넓이는 손실 표면을 크게 부드럽게 하여 나쁜 국소 최솟값의 존재를 줄인다.