[논문 리뷰] Neural Networks with Small Weights and Depth-Separation Barriers

Gal Vardi, Shamir, Ohad|arXiv (Cornell University)|2020. 05. 31.

Stochastic Gradient Optimization Techniques참고 문헌 24인용 수 5

한 줄 요약

이 논문은 다항수로 유계된 가중치를 가진 ReLU 신경망에서 깊이 분리성 증명의 기본적인 장벽을 설정한다. 문제를 회로 복잡도 분야의 미해결 문제로 환원함으로써, 임의의 가중치를 가진 상수 깊이, 다항 폭 신경망이 근사할 수 있는 모든 함수는 다항수로 유계된 가중치를 가진 깊이 3k+3 신경망으로도 근사 가능하다는 것을 보여주며, 이는 깊이 4를 초월한 진전이 자연 증명 장벽에 의해 제한된다는 것을 시사한다.

ABSTRACT

In studying the expressiveness of neural networks, an important question is whether there are functions which can only be approximated by sufficiently deep networks, assuming their size is bounded. However, for constant depths, existing results are limited to depths $2$ and $3$, and achieving results for higher depths has been an important open question. In this paper, we focus on feedforward ReLU networks, and prove fundamental barriers to proving such results beyond depth $4$, by reduction to open problems and natural-proof barriers in circuit complexity. To show this, we study a seemingly unrelated problem of independent interest: Namely, whether there are polynomially-bounded functions which require super-polynomial weights in order to approximate with constant-depth neural networks. We provide a negative and constructive answer to that question, by showing that if a function can be approximated by a polynomially-sized, constant depth $k$ network with arbitrarily large weights, it can also be approximated by a polynomially-sized, depth $3k+3$ network, whose weights are polynomially bounded.

연구 동기 및 목표

• 다항수로 유계된 가중치를 가질 경우, 효율적인 근사가 필요로 하는 깊은 네트워크가 존재하는지 조사한다.
• 특히 가중치 제약 조건 하에서 깊이 4를 초월한 신경망의 깊이 분리성 증명에 대한 한계를 검토한다.
• 깊이 분리 질문을 다항수로 유계된 가중치를 가진 깊이 3k+3 네트워크로 환원함으로써, 신경망 표현력과 회로 복잡도 간 격차를 메운다.
• 기본적인 질문을 해결한다: 다항수로 유계된 함수는 상수 깊이 네트워크에서 초다항수 가중치가 필요한가?
• 상수 깊이 네트워크가 임의의 가중치를 가질 수 있는 깊이 3k+3 네트워크로 다항수로 유계된 가중치를 가진 깊이 3k+3 네트워크가 항상 존재함을 증명함으로써, 깊이 분리성 증명의 범위를 제한한다.

제안 방법

• ReLU 네트워크에서 깊이 분리 문제를 회로 복잡도 분야의 미해결 문제, 특히 자연 증명 장벽에 환원한다.
• 구성적 증명을 통해, 임의의 가중치를 가진 상수 깊이 네트워크가 근사할 수 있는 모든 함수는 다항수로 유계된 가중치를 가진 더 깊은 네트워크(깊이 3k+3)로 재표현 가능하다는 것을 보여준다.
• 조각별 선형 함수를 깊이 2, 다항 폭의 ReLU 네트워크로 표현하기 위해 분해 기법을 적용한다.
• 입력 분포에 대한 기대값 분석을 통해 개별 입력 차원에서의 근사 오차를 유계한다.
• 조건부 기대값에서 유도된 단변수 함수를 다항 폭의 깊이 2 네트워크로 구성하며, ReLU 네트워크의 조각별 선형 구조를 활용한다.
• L2 노름에서 삼각 부등식을 적용하여 차원 간 오차 전파를 유계함으로써 총 근사 오차가 ε 이내로 유지되도록 보장한다.

실험 결과

연구 질문

• RQ1 상수 깊이 ReLU 네트워크에서 큰 가중치가 필요한 함수들이 다항수로 유계된 가중치를 가진 더 깊은 네트워크에서 효율적으로 근사될 수 있는가?
• RQ2 깊이 4를 초월한 신경망에서 깊이 분리성 증명에 대한 근본적인 제약은 무엇인가?
• RQ3 회로 복잡도 분야의 자연 증명 장벽이 ReLU 네트워크의 깊이 분리성 결과 증명에 얼마나 막힘을 초래하는가?
• RQ4 임의의 가중치를 가진 상수 깊이 네트워크를 다항수로 유계된 가중치를 가진 깊이 3k+3 네트워크가 시뮬레이션할 수 있는가?
• RQ5 깊이를 늘려도 가중치 크기 제약 조건으로 인해 깊은 네트워크의 표현력이 본질적으로 제한될 수 있는가?

주요 결과

• 임의의 가중치를 가진 상수 깊이, 다항 폭 ReLU 네트워크가 근사할 수 있는 모든 함수는 다항수로 유계된 가중치를 가진 깊이 3k+3 네트워크로도 근사 가능하다.
• 이 논문은 이러한 깊이 3k+3 네트워크가 존재함을 구성적 증명을 통해 보여주며, 깊이와 가중치 크기 사이의 직접적인 상충 관계를 확립한다.
• 근사 오차는 ε 이내로 유지되며, d 차원 전체에 대한 총 L2 오차는 d × (ε/d) = ε로 유계된다.
• 이 결과는 이전에는 부울 회로에만 관련된 것으로 여겨졌던 회로 복잡도 분야의 자연 증명 장벽이 실수값 ReLU 네트워크의 깊이 분리성 증명에도 영향을 미친다는 것을 시사한다.
• 깊이 k ≥ 4인 경우, 깊이 분리 결과를 현재의 자연 증명 기법으로 증명하는 것은 어려울 것이며, 깊이 4의 임계값 회로에서의 준난수 함수 가족 존재 때문일 것이다.
• 구성 방법은 다항식 수준의 조각(즉, poly(n) 개의 조각)을 가진 임의의 단변수 조각별 선형 함수를 깊이 2, 다항 폭 네트워크로 시뮬레이션할 수 있음을 보여주며, 이는 전체 환원 과정의 핵심이다.