[논문 리뷰] On the Expressive Power of Deep Polynomial Neural Networks

Joe Kileel, Matthew Trager외 1명|arXiv (Cornell University)|2019. 05. 29.

Tensor decomposition and applications참고 문헌 20인용 수 34

한 줄 요약

이 논문은 심층 다항 네트워크를 대수적 객체로 다루고, 네트워크 매핑을 통해 함수적 다양체를 정의하며, 차원 공식, 채움/병목 조건, 텐서 분해와의 연관성을 도출해 표현력을 정량화한다.

ABSTRACT

We study deep neural networks with polynomial activations, particularly their expressive power. For a fixed architecture and activation degree, a polynomial neural network defines an algebraic map from weights to polynomials. The image of this map is the functional space associated to the network, and it is an irreducible algebraic variety upon taking closure. This paper proposes the dimension of this variety as a precise measure of the expressive power of polynomial neural networks. We obtain several theoretical results regarding this dimension as a function of architecture, including an exact formula for high activation degrees, as well as upper and lower bounds on layer widths in order for deep polynomials networks to fill the ambient functional space. We also present computational evidence that it is profitable in terms of expressiveness for layer widths to increase monotonically and then decrease monotonically. Finally, we link our study to favorable optimization properties when training weights, and we draw intriguing connections with tensor and polynomial decompositions.

연구 동기 및 목표

• 다항 활성화 함수를 사용하는 심층 비선형 네트워크의 표현력에 대한 엄밀한 척도 개발을 목표로 한다.
• 가중치에서 다항식으로의 대수적 매핑으로 네트워크를 모델링하고 Zariski 닫힘을 함수적 다양체로 연구한다.
• 높은 활성화 차수에서 정확한 차원 공식을 도출하고 주변 공간을 채우기 위한 층 너비의 상한을 제시한다.
• 최적화에 미치는 함의를 탐구하고 네트워크 표현을 텐서 및 다항식 분해와 연계한다.

제안 방법

• 활성화 함수 rho_r(z) = z^r 로 다항 네트워크를 고정 아키텍처 d = (d0,...,dh)로 형식화한다.
• 가중치에서 동차 다항식 벡터로의 대수적 사상 Phi_{d,r}를 정의하고 그 이미지를 F_{d,r}로 연구한다.
• F_{d,r}의 Zariski 닫힘 V_{d,r}를 불가분 대수적 다양체로 간주하고 차원을 분석한다.
• 일반 차원 상한과 높은 활성화 차수에서의 정확한 차원 결과(Theorem 14)를 도출한다.
• 너비에 대한 병목(채움 불가능) 기준을 제시한다(Theorem 19).
• 네트워크를 텐서 분해(CP, LORS-2019)와 연결하고 채움 너비의 상한을 제공한다(Theorem 10).
• Phi_{d,r}의 구조를 연구하기 위해 대칭성과 다-동일성(multi-homogeneity)을 이용한다(Lemma 13).
• dim(V_{d,r})를 추정하기 위한 계산 방법(Jacobians, 다항식 또는 유한체에 대한 역전파)을 제시한다.

실험 결과

연구 질문

• RQ1 다항 네트워크 아키텍처에 의해 유도된 함수적 다양체 V_{d,r}의 차원은 얼마인가?
• RQ2 네트워크 아키텍처가 주변 공간을 채우는 시점은 언제이며, 층 너비가 이것에 어떻게 영향을 미치는가?
• RQ3 활성화 차수 r이 네트워크의 함수 공간의 차원 및 채움 특성에 어떤 영향을 미치는가?
• RQ4 다항 네트워크와 텐서/다항 분해 간의 연계는 무엇이며, 이것이 최적화에 어떤 시사점을 주는가?
• RQ5 깊이와 너비에 관계없이 표현력을 제한하는 구조상의 병목은 무엇인가?

주요 결과

• 고정된 r과 아키텍처 d에 대해 네트워크의 함수 공간은 대수적 다양체를 형성하고, 높은 활성화 차수에서 차원을 정확하게 특성화할 수 있다(Theorem 14).
• 너비가 충분히 크지 않으면(병목) 네트워크가 주변 공간을 채울 수 없다는 확장/채움 기준이 있다(Theorem 19).
• 차원은 층 차원과 조합적 요인을 결합한 공식(식 (11))에 의해 상한이 주어지며, 가설 하에 높은 r에서 등식이 성립한다.
• 심층 다항 네트워크와 텐서/다항 분해 간의 긴밀한 연결고리가 있으며, 채움 너비의 상한을 가능하게 한다(Theorem 10).
• Jacobian/역전파를 이용한 계산 실험은 단봉형 최소 채움 너비와 증가하는 r에 따른 차원 안정을 확인한다(표 1–2 토론).