[논문 리뷰] Why and When Can Deep -- but Not Shallow -- Networks Avoid the Curse of Dimensionality

Tomaso Poggio, H. N. Mhaskar외 3명|arXiv (Cornell University)|2016. 11. 02.

Neural Networks and Applications인용 수 6

한 줄 요약

이 논문은 깊이 있는 신경망이 계층적이고 복합적인 구조를 가진 함수 클래스에 대해 깊이의 특성 덕분에 차원의 극복을 가능하게 하며, 얕은 네트워크보다 지수적 우월성을 달성할 수 있음을 보여준다. 핵심 통찰은 깊이가 중첩되고 재귀적인 종속성을 가진 함수를 효율적으로 표현할 수 있게 해주며, 가중치 공유가 없더라도 가능하다는 점으로, 이는 실생활에서 깊이 있는 합성곱 신경망이 얕은 네트워크보다 뛰어나게 작동하는 이유를 설명한다.

ABSTRACT

The paper characterizes classes of functions for which deep learning can be exponentially better than shallow learning. Deep convolutional networks are a special case of these conditions, though weight sharing is not the main reason for their exponential advantage.

연구 동기 및 목표

• 깊이 있는 네트워크가 얕은 네트워크보다 지수적 우위를 보이는 특정 함수 클래스를 규명하는 것.
• 깊이가 단순한 파rameter 수를 넘어서 표현적 이점 제공하는 구조적 조건을 분석하는 것.
• 합성곱 네트워크에서의 가중치 공유가 성공의 주요 원인인지, 아니면 더 넓은 원리의 특수한 경우인지 명확히 하는 것.
• 깊이 있는 아키텍처가 얕은 학습의 지수적 샘플 복잡도를 피할 수 있는 조건을 체계화하는 것.

제안 방법

• 저자는 계층적이고 복합적인 구조를 가진 함수의 클래스를 정의하며, 각 층이 더 단순한 함수들을 조합하여 더 복잡한 함수를 만든다.
• 이러한 함수를 얕은 네트워크보다 지수적으로 더 적은 파rameter로 표현할 수 있는 명시적 깊이 있는 네트워크 아키텍처를 구축한다.
• 분석은 얕은 네트워크가 이러한 함수를 근사하기 위해 필요한 파rameter 수의 하한을 증명하는 데 기반한다.
• 증명 기법은 정보 이론적 및 근사 이론적 추론을 사용하여, 얕은 네트워크가 동일한 정확도를 달성하기 위해 지수적으로 더 많은 유닛이 필요하다는 것을 보여준다.
• 이 프레임워크는 합성곱 네트워크에 국한되지 않고, 중첩된 종속성을 가진 모든 함수에 일반적으로 적용 가능하다.
• 저자는 가중치 공유 없이도 깊이 있는 네트워크가 이러한 함수 클래스에 대해 지수적 효율성을 달성할 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 깊이 있는 네트워크가 얕은 네트워크보다 지수적 표현 우위를 보이는 함수의 어떤 클래스인가?
• RQ2 합성곱 네트워크에서의 가중치 공유가 성공의 근본적 이유인가, 아니면 더 넓은 원리의 결과일 뿐인가?
• RQ3 가중치 묶음 없이도 깊이 있는 네트워크가 계층적 구조를 가진 함수에 대해 차원의 극복을 피할 수 있는가?
• RQ4 어떤 함수의 구조적 특성이 깊이 있는 표현에 효율적으로 적합한가?

주요 결과

• 깊이 있는 네트워크는 일부 계층적 함수를 얕은 네트워크보다 지수적으로 더 적은 파rameter로 표현할 수 있다.
• 지수적 우위는 가중치 공유 그 자체가 아니라 함수의 복합적 구조에서 기인한다.
• 가중치 공유 없이도 깊이 있는 네트워크는 중첩되고 재귀적인 종속성을 가진 함수에 대해 지수적 효율성을 달성할 수 있다.
• 얕은 네트워크는 동일한 함수를 근사하기 위해 지수적으로 더 많은 파rameter가 필요하여 차원의 극복 현상이 발생한다.
• 이 이론적 결과는 깊이 있는 합성곱 네트워크가 실생활에서 효과적인 이유를 설명한다. 가중치 공유가 주요 요인일 필요는 없다.
• 이러한 발견은 고차원 함수 근사에서 딥 러닝의 경험적 성공에 대한 공식적인 기반을 마련한다.