[논문 리뷰] Improved Learning of One-hidden-layer Convolutional Neural Networks with Overlaps

Simon S. Du, Surbhi Goel|arXiv (Cornell University)|2018. 05. 20.

Neural Networks and Applications참고 문헌 27인용 수 6

한 줄 요약

이 논문은 겹치는 패치를 가진 하나의 은닉층을 가진 컨볼루션 신경망을 학습하기 위한 처음으로 증명 가능하게 효율적인 알고리즘을 제시한다. 이는 공유 컨볼루션 필터와 출력 가중치라는 두 개의 알려지지 않은 계층을 포함한다. 등방성 및 등방분포 하에서 조각별 선형 활성화 함수를 사용할 때, 등치성 회귀, 비볼록 경관 분석, 토플리츠 행렬의 스펙트럼 성질을 조합하여, 스타일드가 $ s \geq \lfloor r/2 \rfloor + 1 $ 를 만족할 경우 다항 시간 내에 학습 가능함을 보여준다.

ABSTRACT

We propose a new algorithm to learn a one-hidden-layer convolutional neural network where both the convolutional weights and the outputs weights are parameters to be learned. Our algorithm works for a general class of (potentially overlapping) patches, including commonly used structures for computer vision tasks. Our algorithm draws ideas from (1) isotonic regression for learning neural networks and (2) landscape analysis of non-convex matrix factorization problems. We believe these findings may inspire further development in designing provable algorithms for learning neural networks and other complex models.

연구 동기 및 목표

• 두 개의 알려지지 않은 매개변수인 컨볼루션 필터와 출력 가중치를 가진 하나의 은닉층 컨볼루션 신경망을 학습하기 위한 증명 가능하게 효율적인 알고리즘을 설계하는 것.
• 기존의 겹치지 않는 패치에 대한 연구를 컴퓨터 비전에서 흔히 사용되는 더 일반적인 겹치는 패치의 경우로 확장하는 것.
• 겹치는 패턴에서 실패하거나 강력한 분포 가정을 필요로 하는 기존의 기울기 기반 방법의 한계를 극복하는 것.
• 입력 분포의 지식을 가정하지 않거나 부적절한 학습 기법에 의존하지 않는 적절한 학습 알고리즘을 개발하는 것.
• 대칭성과 등방성 등의 온건한 가정 하에서 수렴성과 일반화에 대한 이론적 보장을 확립하는 것.

제안 방법

• 등치성 회귀의 통찰을 활용하여 조각별 선형 활성화 네트워크의 학습을 선형 활성화 네트워크의 학습으로 환원함으로써, Goel 등 (2018)의 연구를 영감으로 삼는다.
• 기하학적 성질을 활용하여 손실 경관의 특성을 분석함으로써, 비볼록 행렬 분해 문제로 컨볼루션 필터의 학습을 재구성함으로써 수렴을 보장한다.
• 출력 가중치로 구성된 토플리츠 행렬의 스펙트럼 성질을 분석하여, 그 최소 고유값에 하한을 제시한다: $ 1 - \cos(\pi/(k+1)) $.
• 세 단계 절차를 사용한다: (1) 등치성 회귀를 통해 출력 가중치 추정, (2) 로버스트한 변형된 Convotron 알고리즘을 사용한 컨볼루션 필터 복원, (3) 경험적 리스크 최소화를 통한 최적의 가설 선택.
• 일반화 오차를 제한하기 위해 허프딩 부등식을 활용하고, 두 번째 레이어에서의 근사 오차에 대한 로버스트성 분석을 수행한다.
• 알고리즘은 적절한 형태로 설계되어 있으며, 입력 분포의 밀도 함수를 알 필요가 없으며, 텐서 분해 방법과는 달리 이를 요구하지 않는다.

실험 결과

연구 질문

• RQ1 겹치는 패치와 두 개의 알려지지 않은 가중치 행렬을 가진 하나의 은닉층 컨볼루션 신경망을 학습하기 위한 증명 가능하게 효율적인 알고리즘을 설계할 수 있는가?
• RQ2 조각별 선형 활성화에서 선형 활성화로의 등치성 회귀 기반 환원이 겹치는 패턴 하에서 효율적인 학습을 가능하게 하는가?
• RQ3 비볼록 경관 분석과 토플리츠 행렬의 스펙트럼 성질이 이 설정에서 전역 최적해로의 수렴을 보장할 수 있는가?
• RQ4 대칭적이고 등방적인 입력 분포 하에서 알고리즘이 어떻게 작동하며, 스타일드 크기에 필요한 조건은 무엇인가?
• RQ5 두 번째 레이어의 가중치 근사 오차에 대해 알고리즘이 로버스트할 수 있으며, 여전히 낮은 예측 오차를 달성할 수 있는가?

주요 결과

• 스타일드가 $ s \geq \lfloor r/2 \rfloor + 1 $ 를 만족할 경우, 대칭적이고 등방적인 입력 분포 하에서 겹치는 패치를 가진 하나의 은닉층 컨볼루션 신경망에 대해 다항 시간 내에 수렴함을 보였다.
• 입력 노름에 대한 유계 $ B $ 를 고려할 때, $ \mathrm{poly}(k, \|\mathbf{w}^*\|, B, \log(1/\epsilon)) $ 번의 반복 후에 인구 위험은 높은 확률로 $ \epsilon $ 이하로 제한된다.
• 행렬 $ \mathbf{P}^\mathbf{a} $ 의 최소 고유값은 $ 1 - \cos(\pi/(k+1)) $ 이하로 하한이 존재하여, 비볼록 최적화 단계에서 안정성과 수렴성을 보장한다.
• 높은 확률로 $ \mathbf{w}^{(+)} $ 또는 $ \mathbf{w}^{(-)} $ 가 진짜 필터 $ \mathbf{w}^* $ 에서 $ O(\epsilon / (\sigma_1 r^{1/2} k^{3/2})) $ 이내에 있다.
• 최종 가설은 입력 분포에 대해 기대값 기준으로 $ \epsilon $-예측 오차를 달성하며, 샘플 복잡도는 $ k, r, B, \sigma_1, \epsilon^{-1} $ 에 대해 다항식이다.
• 이 방법은 가우시안 가정을 초월하여 일반화 가능하며, 입력 밀도에 대한 지식이 필요하지 않아, 텐서 기반 또는 커널 기반 접근법과 구별된다.