[논문 리뷰] Tight Sample Complexity of Learning One-hidden-layer Convolutional Neural Networks

Yuan Cao, Quanquan Gu|arXiv (Cornell University)|2019. 11. 12.

Machine Learning and ELM인용 수 15

한 줄 요약

이 논문은 비중첩 필터를 가진 일중합층 컨볼루션 신경망을 훈련하기 위한 근사 경사 하강법을 제안하며, 약한 초기화 조건 하에서 진정한 파라미터로의 선형 수렴을 달성한다. 선형 활성화 함수의 경우 정보 이론적 하한선과 일치하는 날카운 샘플 복잡도를 확립하며, ReLU 및 Leaky ReLU와 같은 일반적인 비자명하고 단조적이며 리프시츠 연속 활성화 함수로의 확장도 이루어진다.

ABSTRACT

We study the sample complexity of learning one-hidden-layer convolutional neural networks (CNNs) with non-overlapping filters. We propose a novel algorithm called approximate gradient descent for training CNNs, and show that, with high probability, the proposed algorithm with random initialization grants a linear convergence to the ground-truth parameters up to statistical precision. Compared with existing work, our result applies to general non-trivial, monotonic and Lipschitz continuous activation functions including ReLU, Leaky ReLU, Sigmod and Softplus etc. Moreover, our sample complexity beats existing results in the dependency of the number of hidden nodes and filter size. In fact, our result matches the information-theoretic lower bound for learning one-hidden-layer CNNs with linear activation functions, suggesting that our sample complexity is tight. Our theoretical analysis is backed up by numerical experiments.

연구 동기 및 목표

• 비중첩 필터를 가진 일중합층 CNN의 일반적인 활성화 함수에 대해 일반적인 수렴 보장을 제공하지 못하는 문제를 해결한다.
• 이전 연구에서 특정 초기화 조건, 정확한 경사 계산, 또는 매끄러움 가정에 의존하는 한계를 극복한다.
• 해석적 경사 표현 계산이 필요 없이도 광범위한 활성화 함수 클래스에 적용 가능한 수렴 분석 프레임워크를 개발한다.
• 선형 활성화 함수의 경우 정보 이론적 하한선과 일치하는 샘플 복잡도를 달성하여 통계적 최적성을 입증한다.
• 샘플 분할 없이도 경험적 리스크 최소화를 위한 통합적 분석을 제공한다. 이를 위해 균일 농도 부등식을 사용한다.

제안 방법

• 필터 가중치와 두 번째 층 파라미터를 동시에 갱신하는 근사 경사 하강법(알고리즘 1)을 제안한다.
• 샘플 분할 없이도 경험적 리스크를 분석하기 위해 균일 농도 부등식을 사용하여 유한 샘플 변동성에 대한 강건성을 확보한다.
• 비자명하고 단조적이며 리프시츠 연속 활성화 함수의 성질을 활용하여 해석적 경사 표현에 의존하지 않는다.
• 새로운 재귀 기반 분석을 적용하여, 무작위 초기화 조건 하에서도 통계 정밀도까지 선형 수렴을 증명한다.
• 필터 구조를 입력 분포에서 분리하는 파arameterization을 도입하여 비정규 분포 입력으로의 일반화를 가능하게 한다.
• 공분산 분해와 푸비니의 정리를 사용하여 경사 추정 과정에서의 교차항 의존성을 제한한다.

실험 결과

연구 질문

• RQ1 일중합층 CNN에 대해 일반적인 비자명하고 단조적이며 리프시츠 연속 활성화 함수를 사용할 경우 선형 수렴을 달성할 수 있는가?
• RQ2 제안된 알고리즘이 선형 활성화 함수의 경우 정보 이론적 하한선과 일치하는 샘플 복잡도를 달성하는가?
• RQ3 정확한 두 번째 층 파라미터 지식이나 특수한 초기화 조건 없이도 수렴 보장을 확보할 수 있는가?
• RQ4 구면 위에서 균일 분포나 전타원형 분포와 같은 비정규 입력 분포에 대해 알고리즘이 강건한가?
• RQ5 샘플 분할 없이도 경험적 리스크 최소화에 적용할 수 있고, 날카운 샘플 복잡도를 유지할 수 있는가?

주요 결과

• 제안된 근사 경사 하강법 알고리즘은 약한 무작위 초기화 조건 하에서도 높은 확률로 통계 정밀도까지 진정한 파라미터로의 선형 수렴을 달성한다.
• 샘플 복잡도는 $ \widetilde{O}((k + r) \cdot \epsilon^{-2}) $ 로, 선형 활성화 함수의 경우 정보 이론적 하한선과 일치하여 통계적 최적성을 나타낸다.
• 이 방법은 매끄럽지 않거나 해석적 경사 계산이 불필요한 ReLU, Leaky ReLU, 시그모이드, 소프트플러스와 같은 광범위한 활성화 함수 클래스에 적용 가능하다.
• 수치 실험을 통해 비정규 입력(예: 단위 구면 위 균일 분포, 전타원형 분포)에서도 알고리즘이 선형으로 수렴하는 것으로 확인되었다.
• hyperbolic tangent 활성화 함수의 경우, Double Convotron이 수렴하지 못하는 데 비해 본 방법은 성능이 뛰어나 비대칭성과 비선형성에 강건함을 입증하였다.
• 이론적 분석은 샘플 분할을 피하기 위해 균일 농도 결과를 활용하여, 이전 연구가 샘플 분할이나 강력한 분포 가정에 의존하는 것보다 샘플 효율성이 뛰어나다.