[논문 리뷰] On the loss landscape of a class of deep neural networks with no bad local valleys

Quynh L. Nguyen, Mahesh Chandra Mukkamala외 1명|arXiv (Cornell University)|2018. 09. 27.

Machine Learning and ELM참고 문헌 46인용 수 39

한 줄 요약

이 논문은 출력 레이어에 스킵 연결이 있는 과도하게 파rameter화된 딥 네ural 네트워크의 클래스를 특정하여, 이들의 손실 곡면에 나쁜 국소 골짜기가 존재하지 않음을 증명한다—즉, 매개변수 공간의 임의의 점에서 영 training 손실로 향하는 연속적이고 비증가하는 경로가 존재한다. 핵심 결과는 이러한 네트워크가 표준 교차 엔트로피 손실 하에서 최적의 엄밀한 국소 최소값이 없음을 보여주며, 이는 SGD가 실제로 영 손실로 수렴하고 일반화 성능도 잘 유지함을 의미한다.

ABSTRACT

We identify a class of over-parameterized deep neural networks with standard activation functions and cross-entropy loss which provably have no bad local valley, in the sense that from any point in parameter space there exists a continuous path on which the cross-entropy loss is non-increasing and gets arbitrarily close to zero. This implies that these networks have no sub-optimal strict local minima.

연구 동기 및 목표

• 딥 네트워크의 손실 곡면이 나쁜 국소 골짜기가 없고, 국소 탐색 알고리즘을 통해 영 손실로 수렴할 수 있는 아키텍처 조건을 규명하는 것.
• 표준 활성화 함수와 교차 엔트로피 손실을 갖는 과도하게 파arameter화된 네트워크에서 최적의 엄밀한 국소 최소값이 존재하지 않음을 이론적으로 보장하는 것.
• 숨은 유닛에서 출력 레이어로의 스킵 연결이 딥 네트워크의 최적화 및 일반화 행동에 미치는 영향을 분석하는 것.
• 영 손실 솔루션이 무한히 많을 경우에도 SGD가 일반화 가능한 해로 향하는 암묵적 편향을 보이는지 확인하는 것.
• 실제로 사용 가능한 네트워크를 구성할 수 있는 프레임워크를 제공하여, 국소 탐색 알고리즘(예: SGD)에 대해 이론적으로 안정된 성능을 보장하는 것.

제안 방법

• 저자는 최소 N개의 은닉 유닛(N = 훈련 샘플 수)이 깊이에 관계없이 출력 레이어에 독립적인 가중치로 직접 연결된 딥 네트워크의 클래스를 정의한다.
• 그들은 이러한 네트워크에서 매개변수 공간의 임의의 초기점에서 출발하여 교차 엔트로피 손실이 비증가하고 영 손실에 임의로 가까이 갈 수 있는 연속 경로가 존재함을 증명한다.
• 분석은 깊이가 임의로 설정된 완전 연결 및 컨볼루션 네트워크에 적용되며, 훈련 데이터에 대한 분포 가정 없이도 성립한다.
• 증명는 과도하게 파arameter화된 구조와 스킵 연결을 활용하여 손실이 비증가하는 방식으로 매개변수 보간을 통한 경로를 구성하는 데 기반한다.
• 숨은 레이어에서의 공유 및 비공유 가중치 모두 허용되며, 복수의 은닉 레이어에서 출력 레이어로의 스킵 연결도 지원된다.
• 실험은 수정된 VGG와 DenseNet 아키텍처에 스킵 연결을 도입하여 SGD와 무작위 특징 기반 베이스라인을 비교함으로써 이론을 검증한다.

실험 결과

연구 질문

• RQ1 딥 네트워크의 손실 곡면에 나쁜 국소 골짜기가 존재하지 않도록 보장하는 클래스를 특정할 수 있는가? 이는 국소 탐색을 통해 영 손실로 수렴할 수 있음을 의미한다.
• RQ2 교차 엔트로피 손실 하에서 과도하게 파arameter화된 네트워크에서 최적의 엄밀한 국소 최소값이 존재하지 않도록 보장하는 아키텍처 조건은 무엇인가?
• RQ3 은닉 유닛에서 출력 레이어로의 스킵 연결은 딥 네트워크의 최적화 및 일반화 행동에 어떻게 영향을 미치는가?
• RQ4 영 손실을 갖는 네트워크에서 다수의 솔루션이 존재할 경우에도 SGD는 일반화 가능한 해로 향하는 암묵적 편향을 보이는가?
• RQ5 이론적으로 나쁜 국소 최소값을 피할 수 있고 강력한 일반화 성능을 유지할 수 있는 실용적인 딥 네트워크를 구성할 수 있는가?

주요 결과

• 최소 N개의 은닉 유닛이 출력 레이어에 직접 연결된 네트워크(N = 훈련 샘플 수)는 나쁜 국소 골짜기가 없으며, 임의의 시작점에서 영 손실로 향하는 연속적이고 비증가하는 경로가 존재한다.
• 나쁜 국소 골짜기가 존재하지 않음을 의미하며, 이러한 네트워크의 손실 곡면에는 최적의 엄밀한 국소 최소값이 존재하지 않는다.
• 손실 함수에는 국소 최댓값도 존재하지 않으며, 이는 최적화 곡면이 잘 조율되어 있음을 추가로 뒷받침한다.
• 실험 결과, 스킵 연결이 있는 네트워크는 SGD로 훈련했을 때 영 손실을 달성하더라도 무작위 특징 기반 베이스라인보다 훨씬 우수한 일반화 성능을 보였다.
• 데이터 증강을 적용한 CIFAR-10에서, SGD로 훈련된 VGG16은 시그모이드 활성화 함수로 70.61%의 테스트 정확도를 기록했고, 소프트플러스 활성화 함수로는 81.91%를 달성하여 무작위 특징 기반 베이스라인을 10퍼센트 포인트 이상 앞섰다.
• SGD와 무작위 특징 훈련 간의 성능 격차는 다양한 아키텍처에서 지속되며, SGD가 고품질 솔루션으로 향하는 암묵적 편향을 가짐을 확인한다.