[논문 리뷰] Representational Power of ReLU Networks and Polynomial Kernels: Beyond Worst-Case Analysis

Frederic Koehler, Andrej Risteski|arXiv (Cornell University)|2018. 05. 29.

Model Reduction and Neural Networks참고 문헌 6인용 수 6

한 줄 요약

이 논문은 고차원적이고 희박한 잠재변수 모델에서 ReLU 네트워크와 다항식 커널의 표현 능력을 분석하며, 두 층으로 구성된 ReLU 네트워크가 거의 최적의 통계적 성능을 달성하는 반면, 저차수 다항식(차수 < log n)은 상당히 열 劣한 성능을 보임을 보여주며, 이는 현실적인 최악의 경우가 아닌 설정에서 딥 네트워크의 핵심적 이점을 부각시킴.

ABSTRACT

There has been a large amount of interest, both in the past and particularly recently, into the power of different families of universal approximators, e.g. ReLU networks, polynomials, rational functions. However, current research has focused almost exclusively on understanding this problem in a worst-case setting, e.g. bounding the error of the best infinity-norm approximation in a box. In this setting a high-degree polynomial is required to even approximate a single ReLU. However, in real applications with high dimensional data we expect it is only important to approximate the desired function well on certain relevant parts of its domain. With this motivation, we analyze the ability of neural networks and polynomial kernels of bounded degree to achieve good statistical performance on a simple, natural inference problem with sparse latent structure. We give almost-tight bounds on the performance of both neural networks and low degree polynomials for this problem. Our bounds for polynomials involve new techniques which may be of independent interest and show major qualitative differences with what is known in the worst-case setting.

연구 동기 및 목표

• 희박한 잠재적 구조를 가진 현실적이고 최악의 경우가 아닌 설정에서 ReLU 네트워크와 다항식 커널의 상대적 통계적 성능를 이해하기 위해.
• 기존의 최악의 경우 근사 오차 한계(예: 박자 내의 L∞ 노름)를 넘어서 실제 데이터 분포와 관련된 더 실용적인 평균적 분석으로 이동하기 위해.
• 실제 머신러닝 응용에 기반하여, 결정 경계 근처와 같은 관련 영역에서의 근사만 중요시되는 설정을 체계화하기 위해.
• 이 희박한 회귀 모델에서 다항식 커널과 ReLU 네트워크가 달성할 수 있는 통계적 오차에 대한 날카운 오차 한계를 제공하기 위해.
• 저차수 다항식이 관련 영역에서 ReLU 함수의 구조를 포착하지 못하는 반면, 얕은 ReLU 네트워크는 이를 성공적으로 수행함을 보여주기 위해.

제안 방법

• 데이터 X가 희박한 잠재 벡터 Z의 노이즈가 첨가된 선형 변환인 생성 모델을 체계화함.
• 이 모델에서 진짜 조건부 기대값 E[Y|X]를 근사하는 데 있어 다항식 예측기와 ReLU 네트워크의 통계적 오차를 분석함.
• 복소해석학과 해석적 계속성에 관한 버나이슈 정리(베르누이 정리)를 사용하여, 타일러 급수의 수렴 속도를 통해 다항식의 근사 오차를 한계화함.
• 로그 변환을 이용한 ReLU의 매끄러운 근사치를 구성하고, 다항식 근사 이론을 적용하여 관심 영역의 오차를 한계화함.
• 해석적 영역와 타일러 계수의 감쇠 속도를 분석하여, ReLU의 다항식 근사 오차에 대한 정량적 오차 한계를 유도함.
• 근사 이론의 오차 한계를 통계적 추정 이론과 결합하여, ReLU 네트워크가 거의 최적의 속도를 달성하는 반면 저차수 다항식은 그렇지 않음을 보임.

실험 결과

연구 질문

• RQ1 두 층으로 구성된 ReLU 네트워크는 고차원적이고 희박한 잠재변수 회귀 모델에서 거의 최적의 통계적 성능를 달성할 수 있는가?
• RQ2 이와 동일한 모델에서 저차수 다항식 커널의 성능는 ReLU 네트워크와 비교해 볼 때, 특히 관련 입력 영역에서의 근사 오차 측면에서 어떻게 되는가?
• RQ3 이 설정에서 다항식 커널이 거의 최적의 성능를 달성하기 위해 필요한 최소 다항식 차수는 얼마인가?
• RQ4 표준적인 최악의 경우 근사 오차 한계(예: 박자 내의 L∞)는 현실적이고 데이터 기반의 설정에서 다항식 커널의 진정한 표현 능력을 포착하지 못하는가?
• RQ5 복소근사 이론의 기법을 사용하여, ReLU와 같은 비연속 함수에 대해 더 날카운, 데이터 기반의 오차 한계를 도출할 수 있는가?

주요 결과

• 두 층으로 구성된 ReLU 네트워크는 희박한 잠재변수 회귀 모델에서 최적의 속도에 매우 가까운 통계적 오차를 달성함.
• log n 미만의 차수를 가진 다항식 예측기는 최적의 속도보다 상당히 열 劣한 통계적 속도를 보이며, '초기' 속도에 가까워짐.
• 차수 (log n)²을 가진 다항식 예측기는 거의 최적의 통계적 성능를 달성함으로써, 효과적인 성능에 대한 날카로운 임계값이 존재함을 시사함.
• 차수 Ω(log n)의 다항식 근사에서 필요한 단항식의 수는 n^Ω(log n)의 초다항식 속도로 증가하므로, 실질적으로는 최적화가 불가능함.
• 너비 τ인 구간에서 다항식 차수 d를 사용해 ReLU를 근사할 경우, 다항식 근사 오차는 O(e^{-√(τd)/4})로 한정되며, 이는 d에 대해 지수 수렴을 보임.
• 분석은 최악의 경우 근사와의 질적 차이를 드러냄: 다항식은 최악의 경우 노름에서는 잘 작동할 수 있지만, 관련 영역에서는 매우 정확하지 못할 수 있음. 이는 영역 인식 기반의 분석이 필요함을 강조함.