[논문 리뷰] Approximation and Estimation for High-Dimensional Deep Learning Networks

Andrew R. Barron, Jason M. Klusowski|arXiv (Cornell University)|2018. 09. 10.

Machine Learning and Algorithms참고 문헌 35인용 수 42

한 줄 요약

본 논문은 L1형 가중치 제어를 갖는 심층 램프 네트워크에 대한 위험(평균제곱오차) 상한을 도출하고, 파라미터 수에 직접 의존하지 않고 로그 d와 깊이 L에 의존하는 미니맥스와 유사한 속도를 보임을 보인다.

ABSTRACT

It has been experimentally observed in recent years that multi-layer artificial neural networks have a surprising ability to generalize, even when trained with far more parameters than observations. Is there a theoretical basis for this? The best available bounds on their metric entropy and associated complexity measures are essentially linear in the number of parameters, which is inadequate to explain this phenomenon. Here we examine the statistical risk (mean squared predictive error) of multi-layer networks with $\ell^1$-type controls on their parameters and with ramp activation functions (also called lower-rectified linear units). In this setting, the risk is shown to be upper bounded by $[(L^3 \log d)/n]^{1/2}$, where $d$ is the input dimension to each layer, $L$ is the number of layers, and $n$ is the sample size. In this way, the input dimension can be much larger than the sample size and the estimator can still be accurate, provided the target function has such $\ell^1$ controls and that the sample size is at least moderately large compared to $L^3\log d$. The heart of the analysis is the development of a sampling strategy that demonstrates the accuracy of a sparse covering of deep ramp networks. Lower bounds show that the identified risk is close to being optimal.

연구 동기 및 목표

• 샘플보다 더 많은 매개변수를 가진 고차원 설정에서 심층 네트워크가 왜 일반화에 우수한지에 대해 동기를 부여하고 이를 정량화한다.
• 다층 네트워크의 복잡성을 포착하기 위해 variation과 평균 variation 개념을 도입하고 형식화한다.
• 추정 오차와 모델 복잡성의 균형을 맞추기 위해 희소 근사체와 커버링 수(bound) 를 개발한다.
• L1형 가중치 제어와 램프 활성화 아래의 네트워크에 대한 위험 상한을 확립한다.
• 제안된 프레임워크 아래에서 거의 최적의 미니맥스 속도를 입증한다.

제안 방법

• 램프 활성화를 갖는 심층 네트워크와 음수가 아닌(또는 부호를 처리한) 가중치를 모델링한다.
• 크기를 정량화하기 위해 네트워크 변량 V_L과 서브네트워크 변량 V_j^out, V_j^in, 및 평균 변량 \u00061overline{V}를 정의하여 크기를 정량화한다.
• 가중치의 곱 구조 표현을 통해 f(W,x)를 표현하고 가중치의 마코프-유사 분해 a_{j1,...,jL}를 도입한다.
• 고정 기수 M의 임의-대표자 커버로 희소 근사체를 구성하여 커버링 수의 상한을 얻는다.
• 합성 변량 v = \u00061overline{V} sqrt{V}에 대해, 적절한 확률 측정에서 제곱 오차가 (L v / sqrt{M})^2로 스케일된다는 주된 위험 상한을 보인다.

실험 결과

연구 질문

• RQ1 매개변수 노름이 제어될 때 램프 활성화를 갖는 심층 네트워크에 대한 이론적 위험 보장은 무엇인가?
• RQ2 네트워크 변량을 어떻게 정량화하고 활용하여 희소 근사를 가능하게 하고 유리한 일반화 경계를 얻을 수 있는가?
• RQ3 증명 가능한 커버링 수 bound를 갖는 희소 네트워크 근사체를 구성하여 미니맥스와 같은 속도를 얻을 수 있는가?
• RQ4 깊이 L과 입력 차원 d가 L1형 페널티 하에서 학습 위험에 어떤 영향을 미치는가?

주요 결과

• 검토된 클래스의 위험 상한은 [(L^3 log d)/n]^{1/2}으로 상한되며, 적절한 L 및 log d 요인이 주어질 때 d가 n에 비해 큰 경우에도 정확한 추정을 가능하게 한다.
• 희소 커버링 논증은 로그-원자 수가 최대 (L-2)M log(min{d_bar, 2M}) + M log(8e d_in)인 부분 계를 산출한다.
• 주요 정리는 합성 변량 v = overline{V} sqrt{V}를 갖는 클래스의 임의의 f(W,x)에 대한 오차 상한을 보이며 제안된 프레임워크에서 거의 미니맥스 속도를 보여준다.
• 하한은 확인된 위험이 정의된 모델 클래스 내에서 최적에 가깝다는 것을 나타낸다.
• 표현 가능성 및 보존과 유사한 정준 형식은 층 간 가중치 흐름의 균형을 맞추어 해석을 용이하게 하고 상한을 Tight하게 한다.
• 이 접근법은 매개변수 수 기반 척도보다 변량 기반 복잡도 제어를 강조하여 고차원 일반화 현상을 다룬다.