[논문 리뷰] Weight Sharing is Crucial to Succesful Optimization

Shai Shalev‐Shwartz, Ohad Shamir외 1명|arXiv (Cornell University)|2017. 06. 02.

Machine Learning and Data Classification참고 문헌 14인용 수 8

한 줄 요약

이 논문은 경사하강법을 통한 최적화에 있어서 합성곱 신경망에서의 가중치 공유가 필수적임을 보여주며, 특히 목표 함수에 저주파 성분이 포함된 경우에 특히 그렇다. 이론적 분석과 실험을 통해, 가중치 공유가 없을 경우 조건이 유리한 주파수 구성이라도 최적화가 실패함을 입증하며, 수렴 속도 측면에서 합성곱 구조와 완전 연결 구조 간의 계산적 분리를 제공한다.

ABSTRACT

Exploiting the great expressive power of Deep Neural Network architectures, relies on the ability to train them. While current theoretical work provides, mostly, results showing the hardness of this task, empirical evidence usually differs from this line, with success stories in abundance. A strong position among empirically successful architectures is captured by networks where extensive weight sharing is used, either by Convolutional or Recurrent layers. Additionally, characterizing specific aspects of different tasks, making them "harder" or "easier", is an interesting direction explored both theoretically and empirically. We consider a family of ConvNet architectures, and prove that weight sharing can be crucial, from an optimization point of view. We explore different notions of the frequency, of the target function, proving necessity of the target function having some low frequency components. This necessity is not sufficient - only with weight sharing can it be exploited, thus theoretically separating architectures using it, from others which do not. Our theoretical results are aligned with empirical experiments in an even more general setting, suggesting viability of examination of the role played by interleaving those aspects in broader families of tasks.

연구 동기 및 목표

• 비볼록성에도 불구하고 경사하강법이 깊은 신경망 학습에 성공하는 이유를 이해하기 위해.
• 간단한 컨볼루션 네트워크 아키텍처에서 최적화가 성공하거나 실패하는 조건을 규명하기 위해.
• 저주파 성분을 포함한 목표 함수를 최적화하기 위해 가중치 공유가 필수적임을 공식적으로 입증하기 위해.
• 최적화 효율성 측면에서 합성곱 구조와 완전 연결 구조 간의 계산적 분리를 입증하기 위해.

제안 방법

• 저자들은 하나의 합성곱 층과 그 다음에 ReLU 활성화 함수를 적용한 완전 연결 층을 갖는 이중층 컨볼루션 네트워크를 분석한다.
• 목표 함수를 합성곱 특징 추출기와 분류기의 복합 함수로 모델링하고, 한 구성요소를 고정한 상태에서 최적화를 연구한다.
• R^k 상의 푸리에 분석을 사용하여 분류기 함수 g*의 주파수 성분을 특성화한다.
• g*가 저주파 및 고주파 성분을 모두 포함할 경우, 가중치 공유가 존재할 때에만 경사하강법이 합성곱 층 h*를 학습할 수 있음을 증명한다.
• 가중치 공유가 있는(합성곱 구조)과 없는(완전 연결 구조) 아키텍처에서 경사하강법의 수렴 행동을 비교한다.
• 수렴 시간에 대한 이론적 경계를 제시하며, 가중치 공유가 없을 경우 반복 복잡도에 지수적 격차가 존재함을 보여준다.

실험 결과

연구 질문

• RQ1 목표 함수에 어떤 조건이 충족되어야 경사하강법이 합성곱 신경망의 최적화에 성공할 수 있는가?
• RQ2 목표 함수가 유리한 스펙트럼 성질을 지니고 있음에도 불구하고, 가중치 공유가 최적화 성공에 필수적인 이유는 무엇인가?
• RQ3 최적화 효율성 측면에서 합성곱 구조와 완전 연결 구조 간의 계산적 분리를 설정할 수 있는가?
• RQ4 경사하강법의 성공 여부가 목표 함수에 저주파 성분이 존재하는지에 따라 달라지는가?
• RQ5 저주파 성분과 가중치 공유의 조합이 최적화를 유일하게 가능하게 하는가, 아니면 둘 중 하나만으로도 충분한가?

주요 결과

• 저주파 성분을 포함한 목표 함수를 최적화하기 위해 가중치 공유가 필수적이다; 이와 반대로 가중치 공유가 없을 경우, 조건이 유리한 스펙트럼 성질을 지닌다 해도 최적화가 실패한다.
• 분류기 함수 g*가 저주파 및 고주파 성분을 모두 포함할 경우, 경사하강법이 합성곱 층 h*를 학습할 수 있는 것은 가중치 공유가 존재할 때에만 가능하다.
• 동일한 스펙트럼 조건 하에서, 가중치 공유가 있는 아키텍처와 완전 연결 아키텍처 간의 수렴 시간에 지수적 격차가 존재한다.
• 이론적 분석을 통해, 가중치 공유가 있을 경우 수렴 시간이 ε와 k에 대해 다항식적으로 증가하지만, 없을 경우 지수적으로 증가함을 보여준다.
• 실험 결과는 이론적 발견이 h*와 g*가 동시에 학습되는 일반적인 설정에서도 성립함을 확인한다. 즉, 단순화된 설정에서 한 구성요소만 고정된 경우에 국한되지 않는다.
• 본 연구는 최적화 성능 측면에서 합성곱 구조와 완전 연결 구조 간의 공식적인 계산적 분리를 제공한다.