[논문 리뷰] Depth-Width Trade-offs for ReLU Networks via Sharkovsky's Theorem

Vaggos Chatziafratis, Sai Ganesh Nagarajan외 2명|arXiv (Cornell University)|2020. 04. 30.

Model Reduction and Neural Networks참고 문헌 28인용 수 2

한 줄 요약

이 논문은 동역적 시스템 이론의 Sharkovsky의 정리와 연결하여 ReLU 네트워크의 깊이-너비 상호보완성 관계를 규명한다. 깊이가 제한된 경우 주기점, 특히 주기-3을 가진 함수를 근사하기 위해 지수적으로 더 넓은 네트워크가 필요하다는 것을 보여주며, 주요 기여는 목표 함수의 동적 특성에서 고정점의 주기 기반으로 일반적인 네트워크 너비 하한을 도출하는 것이다.

ABSTRACT

Understanding the representational power of Deep Neural Networks (DNNs) and how their structural properties (e.g., depth, width, type of activation unit) affect the functions they can compute, has been an important yet challenging question in deep learning and approximation theory. In a seminal paper, Telgarsky high- lighted the benefits of depth by presenting a family of functions (based on sim- ple triangular waves) for which DNNs achieve zero classification error, whereas shallow networks with fewer than exponentially many nodes incur constant error. Even though Telgarsky’s work reveals the limitations of shallow neural networks, it doesn’t inform us on why these functions are difficult to represent and in fact he states it as a tantalizing open question to characterize those functions that cannot be well-approximated by smaller depths. In this work, we point to a new connection between DNNs expressivity and Sharkovsky’s Theorem from dynamical systems, that enables us to characterize the depth-width trade-offs of ReLU networks for representing functions based on the presence of a generalized notion of fixed points, called periodic points (a fixed point is a point of period 1). Motivated by our observation that the triangle waves used in Telgarsky’s work contain points of period 3 – a period that is special in that it implies chaotic behaviour based on the celebrated result by Li-Yorke – we proceed to give general lower bounds for the width needed to represent periodic functions as a function of the depth. Technically, the crux of our approach is based on an eigenvalue analysis of the dynamical systems associated with such functions.

연구 동기 및 목표

• 얕은 네트워크가 특정 함수를 근사하기 어려운 이유를 이해하고, Telgarsky의 삼각파동 함수에 대한 작업을 확장한다.
• 좁고 얕은 네트워크로 표현하기 어려운 함수의 구조적 특성을 규명한다.
• 신경망 표현력과 동역적 시스템 이론, 특히 주기점과의 관계를 체계화한다.
• 함수의 동적 복잡성 기반으로 주기 함수를 표현하기 위해 필요한 네트워크 너비의 일반적 하한을 도출한다.
• 작은 깊이의 네트워크로 잘 근사되지 않는 함수를 특성화하는 Telgarsky의 미해결 문제를 해결한다.

제안 방법

• 주기-3를 포함한 주기점 존재성을 분석하기 위해 Sharkovsky의 정리를 적용하여, 혼돈적 동역적 행동을 유도함을 밝힌다.
• 함수의 행동을 동역적 시스템으로 모델링하고, 관련 고유값을 분석하여 표현 복잡도를 추론한다.
• 주기 k의 주기점 존재 여부를 얕은 네트워크 근사에 제약을 가하는 본질적 복잡성의 징후로 간주한다.
• 주기점의 수를 ReLU 네트워크가 형성할 수 있는 선형 영역의 수와 연결하여 네트워크 너비의 하한을 유도한다.
• 목표 함수의 자코비안 고유값 분석에 기반해 주기-3 점을 가진 함수는 깊이가 제한된 경우 지수적으로 넓은 얕은 네트워크가 필요함을 입증한다.
• Telgarsky의 구성 방식을 일반화하여 삼각파동의 역할을 특정 동적 특성을 가진 더 넓은 범주의 주기 함수로 확장한다.

실험 결과

연구 질문

• RQ1 Telgarsky의 삼각파동과 같은 특정 함수들이 연속적이고 조각별 선형인데도 불구하고 얕은 ReLU 네트워크로 근사하기 어려운 이유는 무엇인가?
• RQ2 특정 함수에 대해 얕은 네트워크에서 표현 능력의 한계를 설명하는 동역적 시스템의 특성은 무엇인가?
• RQ3 주기점, 특히 주기-3의 존재는 ReLU 네트워크가 함수를 표현하기 위해 필요한 최소 너비와 어떻게 관련이 있는가?
• RQ4 Sharkovsky의 정리를 활용해 깊이와 함수 복잡성의 함수로서 일반적인 네트워크 너비 하한을 유도할 수 있는가?
• RQ5 고유값 분석은 얕은 ReLU 네트워크의 표현력 한계를 정량화하는 데 어떤 역할을 하는가?

주요 결과

• Sharkovsky의 정리에 따라 혼돈적 행동을 유도하는 주기-3 점을 포함한 함수는 낮은 근사 오차를 달성하기 위해 지수적으로 넓은 얕은 ReLU 네트워크가 필요하다.
• 함수 내 주기 k의 주기점 존재는 표현하기 위해 필요한 최소 네트워크 너비에 하한을 부여하며, 이 하한은 주기 길이가 길어질수록 증가한다.
• 분석 결과, 함수의 동적 복잡도(주기점으로 측정)가 효율적 표현을 위해 필요한 네트워크 너비를 직접 결정함을 드러낸다.
• 지수적으로 많은 뉴런을 갖지 않은 얕은 네트워크로는 주기-3 점을 가진 함수를 낮은 오차로 근사할 수 없으며, 이는 근본적인 제약임을 확인한다.
• 목표 함수와 관련된 동역적 시스템의 고유값 분석은 이러한 넓이 하한을 유도하는 정량적 도구를 제공한다.
• 논문은 Telgarsky의 결과를 삼각파동을 넘어서 일반화하여, 핵심적인 어려움이 함수의 특정 형태가 아니라 주기-3 점의 존재에 있음을 보여준다.