[논문 리뷰] Representation Benefits of Deep Feedforward Networks

Matus Telgarsky|arXiv (Cornell University)|2015. 09. 27.

Neural Networks and Applications참고 문헌 5인용 수 141

한 줄 요약

이 논문은 깊이 있는 피드포워드 ReLU 신경망이 얕은 네트워크가 적어도 1/6의 오차에 갇혀 있을 때보다 지수적으로 더 적은 파라미터로 특정 분류 문제를 완전히 정확하게 해결할 수 있음을 보여준다. 이는 [0,1] 구간에 균일하게 배치된 2^k개의 점에서 번갈아가며 레이블이 붙은 문제들(n-ap)의 가족을 구성함으로써 이루어지며, 2개의 노드를 가진 2k층의 순환 신경망이 완벽한 분류를 달성하는 반면, 얕은 네트워크는 이 성능을 따라잡기 위해 지수적으로 더 많은 노드가 필요하다는 것을 보여준다.

ABSTRACT

This note provides a family of classification problems, indexed by a positive integer $k$, where all shallow networks with fewer than exponentially (in $k$) many nodes exhibit error at least $1/6$, whereas a deep network with 2 nodes in each of $2k$ layers achieves zero error, as does a recurrent network with 3 distinct nodes iterated $k$ times. The proof is elementary, and the networks are standard feedforward networks with ReLU (Rectified Linear Unit) nonlinearities.

연구 동기 및 목표

• 깊이 있는 피드포워드 네트워크가 얕은 네트워크가 실패하는 특정 문제에서 완벽한 분류를 달성할 수 있음을 보여주는 것.
• 번갈아나는 레이블을 가진 구체적인 분류 문제를 통해 깊이의 표현력에서 지수적 이점의 정량적 분석을 수행하는 것.
• 심지어 매우 적은 파라미터를 가진 순환 네트워크가 동일한 문제에서 완전한 오차 없이 분류를 달성할 수 있음을 보여주어 아키텍처의 효율성을 부각하는 것.
• 사다리꼴 함수 분석과 함수 복잡도에 대한 세어보기 원리(Counting arguments)를 사용해 표현 이점에 대한 간단한 증명을 제공하는 것.
• 결과를 신경망 표현력, 회로 복잡도 이론, 통계학적 학습 이론과 연결하는 것.

제안 방법

• 구간 [0,1] 내에 균일하게 배치된 2^k개의 점과 번갈아나는 이진 레이블을 가진 n-alternating-point (n-ap) 문제를 구성한다.
• 각 점 x_i를 정확히 그 레이블 y_i로 매핑하는 조각별 애프린 함수 f_m^k를 구성하며, 이는 2노드 ReLU 네트워크의 반복적 조합을 통해 이루어진다.
• 모든 얕은 네트워크가 m개의 노드를 각 레이어에 가지며 l층일 경우, σ가 t-sawtooth일 때 최대 (tm)^l개의 사다리꼴 영역을 생성할 수 있음을 증명한다.
• 세어보기 원리 적용: t-sawtooth 함수는 1/2를 최대 2t번만 가로질릴 수 있으므로, 급격히 번갈아나는 레이블을 정확히 따라잡는 데 한계가 있다.
• f_m^k가 2^k-sawtooth 함수임을 이용해, 모든 2^k개의 점을 정확히 분류할 수 있음을 보여준다.
• 순환 네트워크 f_m^k ∈ R(σ_r;2,2;k)가 완전한 오차 없이 작동하는 반면, 지수적으로 많은 노드가 아닌 얕은 네트워크는 이를 달성할 수 없음을 증명한다.

실험 결과

연구 질문

• RQ1 깊이 있는 피드포워드 네트워크가 얕은 네트워크가 본질적으로 제한되는 문제에서 완전한 분류 오차 없이 작동할 수 있는가?
• RQ2 구조적으로 정의된 분류 문제에서 깊이 있는 네트워크의 성능을 따라잡기 위해 얕은 네트워크에 필요한 최소 노드 수는 얼마인가?
• RQ3 순환 네트워크의 표현력은 표준 피드포워드 네트워크에 비해 파라미터 효율성 측면에서 어떻게 비교되는가?
• RQ4 사다리꼴 함수의 성질이 얕은 네트워크의 분류 오차에 얼마나 깊이 제약을 가하는가?
• RQ5 정확한 분류를 달성하기 위해 깊이, 너비, 파라미터 수 사이의 정량적 트레이드오프는 어떠한가?

주요 결과

• 2^k개의 번갈아나는 점 문제에서, 2k층에 걸쳐 각 층에 2개의 노드를 가진 깊이 있는 네트워크가 완전한 분류 오차 없이 작동한다.
• 모든 얕은 네트워크가 m개의 노드를 각 레이어에 가지며 l층일 경우, 분류 오차는 최소 (n - 4(2m)^l)/(3n) 이상이 되며, 여기서 n = 2^k이다.
• m ≤ 2^{(k-3)/l - 1}일 경우, 얕은 네트워크의 최소 오차는 k가 증가함에 관계없이 1/6 이상으로 제한된다.
• 단지 각 층에 2개의 노드를 가지며 k번 반복되는 순환 네트워크가 동일한 문제에서 완전한 오차 없이 작동한다.
• 얕은 네트워크에서 생성되는 함수의 영역 수(사다리꼴 조각 수)는 (tm)^l로 제한되며, 이는 급격히 변화하는 레이블을 따라잡는 능력을 제한한다.
• 이 결과는 파라미터 효율성 측면에서 지수적 분리가 존재함을 보여준다: 얕은 네트워크는 완전한 오차 없이 작동하기 위해 깊이 있는 또는 순환 네트워크보다 지수적으로 더 많은 노드가 필요하다.