[논문 리뷰] Learning One Convolutional Layer with Overlapping Patches

Surbhi Goel, Adam R. Klivans외 1명|arXiv (Cornell University)|2018. 07. 03.

Stochastic Gradient Optimization Techniques인용 수 26

한 줄 요약

이 논문은 약간의 분포 가정 조건 하에 겹치는 패치를 가진 한 은닉층 컨볼루션 네트워크를 학습하기 위한 증명 가능하게 효율적인 확률적 알고리즘인 Convotron을 소개한다. 이 알고리즘은 학습률 조정이나 특수한 초기화 없이도 전역 수렴을 이루며, 등온 회귀 기반의 업데이트를 통해 효율적으로 가중치를 복원한다. 특히 분포가 가우시안일 경우, 단일 분리된 패치만으로도 효과적으로 가중치를 복원할 수 있다.

ABSTRACT

We give the first provably efficient algorithm for learning a one hidden layer convolutional network with respect to a general class of (potentially overlapping) patches. Additionally, our algorithm requires only mild conditions on the underlying distribution. We prove that our framework captures commonly used schemes from computer vision, including one-dimensional and two-dimensional and stride convolutions. Our algorithm-- $Convotron$ -- is inspired by recent work applying isotonic regression to learning neural networks. Convotron uses a simple, iterative update rule that is stochastic in nature and tolerant to noise (requires only that the conditional mean function is a one layer convolutional network, as opposed to the realizable setting). In contrast to gradient descent, Convotron requires no special initialization or learning-rate tuning to converge to the global optimum. We also point out that learning one hidden convolutional layer with respect to a Gaussian distribution and just $one$ disjoint patch $P$ (the other patches may be arbitrary) is $easy$ in the following sense: Convotron can efficiently recover the hidden weight vector by updating $only$ in the direction of $P$.

연구 동기 및 목표

• 겹치는 패치를 가진 한 은닉층 컨볼루션 네트워크를 학습하기 위한 증명 가능하게 효율적인 알고리즘을 개발하는 것.
• 데이터 분포에 대한 강한 가정에 의존도를 줄이고, 기저 분포에 대해 약한 조건만 요구하는 것.
• 특히 가우시안 분포 하에서 단일 분리된 패치만 제공될 경우에도 효율적인 학습을 가능하게 하는 것.
• 학습률 조정이나 특수한 초기화 없이도 전역 수렴을 달성할 수 있는 강건한 방법을 설계하는 것.

제안 방법

• Convotron은 등온 회귀 기반의 반복적 업데이트 규칙을 사용하며, 이는 확률적이고 노이즈에 강건하다.
• 알고리즘은 잔차 오차와 가장 높은 상관관계를 가지는 패치의 방향으로 가중치를 업데이트하며, 단순하고 탐욕적인 전략을 사용한다.
• 컨볼루션 레이어의 구조를 활용하여, 명시적 백프로파게이션 없이도 겹치는 패치들에 대해 효율적으로 최적화한다.
• 등온 제약 조건을 유지함으로써 목적 함수의 단조적 향상을 보장함으로써, 전역 최적해로 수렴하도록 설계되었다.
• 조건부 평균 함수가 한 층 컨볼루션 네트워크임을 요구할 뿐이며, 전체 실현 가능성 가정은 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 일반적인 분포 하에서 겹치는 패치를 가진 한 은닉층 컨볼루션 네트워크를 학습하기 위한 증명 가능하게 효율적인 알고리즘을 설계할 수 있는가?
• RQ2 약한 분포 가정 조건 하에서도 알고리즘이 효율적이고 강건한가?
• RQ3 단일 분리된 패치만 제공될 경우에도 알고리즘이 진짜 가중치 벡터를 효율적으로 복원할 수 있는가?
• RQ4 학습률 조정이나 특수한 초기화 없이도 전역 수렴을 달성할 수 있는가?

주요 결과

• Convotron은 일반적인 분포 하에서 겹치는 패치를 가진 한 은닉층 컨볼루션 네트워크를 학습하기 위한 첫 번째 증명 가능하게 효율적인 알고리즘이다.
• 등온 회귀 기반의 업데이트 규칙 덕분에 학습률 조정이나 특수한 초기화 없이도 전역 최적해로 수렴한다.
• 가우시안 분포 하에서는 단일 분리된 패치의 방향으로만 업데이트함으로써 은닉 가중치 벡터를 효율적으로 복원할 수 있다.
• 이 프레임워크는 1D, 2D 및 스트라이드 컨볼루션을 포함한 표준 컨볼루션 기법들을 특수한 경우로 포괄한다.