[논문 리뷰] Why and When Can Deep -- but Not Shallow -- Networks Avoid the Curse of Dimensionality: a Review

Tomaso Poggio, H. N. Mhaskar외 3명|arXiv (Cornell University)|2016. 11. 02.

Neural Networks and Applications참고 문헌 47인용 수 16

한 줄 요약

이 논문은 깊이 있는 신경망이 각 함수가 입력의 작고 局소적인 부분집합에만 작용하는 복합 함수—특히 계층적으로 국소적인 함수—에 대해 차원의 귀환 문제를 피할 수 있음을 보여준다. 얕은 네트워크와는 달리, 깊이 있는 아키텍처는 계층적 구조를 이용함으로써 지수적 근사 효율성을 달성하며, 각 층에서의 국소성은 가중치 공유가 아니라 핵심 요소이다.

ABSTRACT

The paper characterizes classes of functions for which deep learning can be exponentially better than shallow learning. Deep convolutional networks are a special case of these conditions, though weight sharing is not the main reason for their exponential advantage.

연구 동기 및 목표

• 깊이 있는 네트워크가 얕은 네트워크보다 지수적 우월성을 보이는 함수의 수학적 클래스를 규명하는 것.
• 깊이 있는 학습 아키텍처가 고차원 함수 근사에서 얕은 네트워크를 능가하는 이유를 명확히 하는 것.
• 국소성과 계층성이 깊이 있는 네트워크가 차원의 귀환 문제를 피하는 데 어떻게 기여하는지 조사하는 것.
• 가중치 공유인지 아니면 아키텍처적 국소성이 깊이 있는 네트워크의 효율성의 주요 원인인지 규명하는 것.
• 시각 및 기타 과제에서 깊이 있는 합성곱 네트워크의 경험적 성공에 대한 이론적 근거를 제공하는 것.

제안 방법

• 각 구성 함수가 작은 유한 차원의 입력에만 작용하는 계층적 조합으로 정의된 함수 클래스를 규명한다.
• 근사 이론을 사용하여 얕은 네트워크와 깊이 있는 네트워크가 이러한 함수를 근사하기 위해 필요한 샘플 복잡도와 네트워크 깊이를 비교한다.
• 깊이 있는 ReLU 네트워크와 얕은 네트워크의 선형 영역 수와 표현 능력을 분석한다.
• 깊이 있는 네트워크가 계층적으로 국소적인 복합 함수를 얕은 네트워크보다 지수적으로 더 적은 파라미터로 근사할 수 있음을 보여주는 이론적 경계를 수립한다.
• 지수적 우월성이 가중치 공유가 아니라 계층적 조합과 국소 함수의 조합에서 기인함을 입증한다.
• 재귀적이고 복합적인 함수 표현을 사용하여 깊이 있는 네트워크의 동작을 단순한 국소 변환의 시퀀스로 모델링한다.

실험 결과

연구 질문

• RQ1 깊이 있는 네트워크가 얕은 네트워크보다 지수적 근사 우월성을 보이는 함수의 어떤 클래스에 대해 성립하는가?
• RQ2 왜 깊이 있는 합성곱 네트워크가 이미지 인식과 같은 고차원 과제에서 얕은 네트워크보다 더 잘 작동하는가?
• RQ3 깊이 있는 합성곱 네트워크의 성공의 주요 원인이 가중치 공유인가, 아니면 다른 아키텍처적 특성인가?
• RQ4 계층적 조합성은 깊이 있는 네트워크의 표현 효율성과 어떻게 관련되는가?
• RQ5 깊이 있는 학습의 성공은 학습 중인 함수의 구조를 통해 이론적으로 설명될 수 있는가?

주요 결과

• 깊이 있는 네트워크는 각 함수가 작은 국소적 입력 부분집합에만 작용하는 계층적으로 국소적인 복합 함수에 대해 차원의 귀환 문제를 피할 수 있다.
• 얕은 네트워크는 동일한 종류의 복합 함수를 근사하기 위해 깊이 있는 네트워크보다 지수적으로 더 많은 파라미터가 필요하다.
• 깊이 있는 네트워크의 지수적 우월성은 가중치 공유가 아니라 계층적 조합과 국소성에서 기인한다.
• 깊이 있는 네트워크는 저차원 국소 함수의 조합으로 표현 가능한 함수를 표현할 수 있기 때문에 지수적 효율성을 달성한다.
• 깊이 있는 ReLU 네트워크의 선형 영역 수는 깊이에 따라 지수적으로 증가하여 얕은 네트워크보다 뛰어난 표현 능력을 가진다.
• 가중치 공유가 없더라도, 함수가 계층적으로 국소적일 경우 깊이 있는 합성곱 유사 아키텍처는 지수적 근사 이점을 달성할 수 있다.