[논문 리뷰] Is Deeper Better only when Shallow is Good?

Eran Malach, Shai Shalev‐Shwartz|arXiv (Cornell University)|2019. 03. 08.

Topic Modeling참고 문헌 18인용 수 17

한 줄 요약

이 논문은 계층적인 굵기에서 미세한 구조를 가진 프랙탈 유사 데이터 분포를 분석함으로써, 더 깊은 신경망이 얕은 신경망보다 일반화 성능이 뛰어난 이유를 조사한다. 그 결과, 데이터가 미세한 세부 사항에 집중되어 있을 경우 기울기 기반 최적화가 실패하며, 이는 깊이만으로 성능이 향상되는 것이 아니라 얕은 네트워크가 데이터를 근사할 수 있는지 여부에 따라 성공적인 훈련 여부가 결정된다는 것을 시사한다.

ABSTRACT

Understanding the power of depth in feed-forward neural networks is an ongoing challenge in the field of deep learning theory. While current works account for the importance of depth for the expressive power of neural-networks, it remains an open question whether these benefits are exploited during a gradient-based optimization process. In this work we explore the relation between expressivity properties of deep networks and the ability to train them efficiently using gradient-based algorithms. We give a depth separation argument for distributions with fractal structure, showing that they can be expressed efficiently by deep networks, but not with shallow ones. These distributions have a natural coarse-to-fine structure, and we show that the balance between the coarse and fine details has a crucial effect on whether the optimization process is likely to succeed. We prove that when the distribution is concentrated on the fine details, gradient-based algorithms are likely to fail. Using this result we prove that, at least in some distributions, the success of learning deep networks depends on whether the distribution can be well approximated by shallower networks, and we conjecture that this property holds in general.

연구 동기 및 목표

• 깊은 신경망의 일반화 성능 향상이 단순한 표현 능력 초월해 어떤 이유에서인지 이해한다.
• 함수 근사에서의 깊이 분리가 기울기 하강법에 의해 성공적인 훈련으로 이어지는지 조사한다.
• 특히 프랙탈 유사한 굵기에서 미세한 구조를 가진 분포가 최적화 성공 여부에 미치는 영향을 분석한다.
• 얕은 네트워크로 근사할 수 없는 분포는 심지어 깊은 아키텍처를 사용하더라도 학습이 어렵다는 추측을 제안하고 검증한다.
• 실험적으로 프랙탈 데이터에서 계층의 각 수준에 분포된 데이터의 분포 곡선이 훈련 성공 여부를 결정함을 입증한다.

제안 방법

• 자기 유사성과 계층적 구조를 가진 반복 기하변환 시스템(IFS)을 사용해 프랙탈 분포를 정의한다.
• 프랙탈의 굵기에서 미세한 수준에 걸쳐 데이터가 어떻게 분포되어 있는지를 수량화하기 위해 '근사 곡선' 개념을 도입한다.
• 깊이가 깊은 프랙탈 분포를 높은 정확도로 근사하기 위해 얕은 네트워크가 지수적으로 더 많은 파라미터가 필요하다는 것을 증명함으로써 깊이 분리를 확립한다.
• 다양한 근사 곡선을 가진 합성 프랙탈 데이터셋에서 Adam 및 SGD와 같은 기울기 기반 최적화 방법을 사용해 깊고 얕은 네트워크를 훈련시킨다.
• 다양한 네트워크 깊이, 너비, 분포 유형에서 일반화 성능(테스트 정확도)을 측정한다.
• 근사 곡선의 형태(균일한 분포 대비 미세한 세부 사항 집중)와 최적화 성공 또는 실패 간의 상관관계를 분석한다.

실험 결과

연구 질문

• RQ1 표현 능력 초월해 깊이가 일반화 성능 향상에 기여하는 조건은 무엇인가?
• RQ2 얕은 네트워크로 표현이 불가능한 분포(깊이 분리가 강한 분포)도 기울기 하강법으로 학습이 가능한가?
• RQ3 계층적 수준에서 데이터가 굵기에서 미세한 세부 사항으로 어떻게 분포되어 있는지가 최적화 성공에 어떤 영향을 미치는가?
• RQ4 얕은 네트워크로 근사 가능한지 여부와 깊은 네트워크로의 학습 가능성 사이에 본질적인 연관성이 존재하는가?
• RQ5 특히 프랙탈 자기 유사성과 같은 데이터의 구조가 기울기 기반 방법이 깊은 네트워크를 훈련시키는 데 영향을 미치는가?

주요 결과

• 프랙탈의 미세한 세부 사항에 데이터 분포가 집중되어 있을 경우, 심지어 깊이 분리가 뚜렷한 표현 능력을 지닌다 해도 기울기 기반 최적화는 깊은 네트워크의 훈련에 실패한다.
• 근사 곡선이 '균일한' 형태(균일한 수준에 더 많은 무게를 두는 경우)를 가진 분포에서는 SGD로 훈련된 깊은 네트워크가 거의 영제 테스트 오차를 기록하며 뚜렷한 깊이 효율성을 보인다.
• 근사 곡선의 형태가 결정적인 영향을 미친다: 데이터가 미세한 세부 사항에 집중되어 있을 경우, 심지어 넓이가 충분히 넓어도 깊은 네트워크의 성능이 크게 떨어진다.
• 2D 칸토어 집합, 펜타플레이크, 비크세크, 시어르프스키 삼각형 프랙탈에 대한 실험 결과, 깊이 분리는 근사 곡선이 균일한 경우에만 관찰된다.
• 3개의 매핑을 가진 시어르프스키 삼각형(3-mapping IFS)에서는 충분한 넓이가 확보되면 근사 곡선의 영향이 약해지며, 이는 낮은 복잡도의 프랙탈은 분포 형태에 관계없이 학습이 비교적 쉬운 것을 시사한다.
• 논문은 얕은 네트워크로 근사할 수 없는 분포는 심지어 깊은 아키텍처를 사용하더라도 기울기 기반 방법으로 학습이 본질적으로 어려운 것으로 추측하는 데 실험적이고 이론적 근거를 제시한다.