[논문 리뷰] A Priori Estimates of the Population Risk for Residual Networks

E Weinan, Chao Ma외 1명|arXiv (Cornell University)|2019. 03. 06.

Probabilistic and Robust Engineering Design참고 문헌 25인용 수 42

한 줄 요약

본 논문은 새로운 가중 경로 노름(weighted path norm)을 사용하여 정규화된 깊은 잔차 네트워크에 대한 a priori 일반화 경계를 도출하고, 고차원에서 최적의 속도와 근사 오차와 추정 오차를 학습 구체성으로부터 분리한다.

ABSTRACT

Optimal a priori estimates are derived for the population risk, also known as the generalization error, of a regularized residual network model. An important part of the regularized model is the usage of a new path norm, called the weighted path norm, as the regularization term. The weighted path norm treats the skip connections and the nonlinearities differently so that paths with more nonlinearities are regularized by larger weights. The error estimates are a priori in the sense that the estimates depend only on the target function, not on the parameters obtained in the training process. The estimates are optimal, in a high dimensional setting, in the sense that both the bound for the approximation and estimation errors are comparable to the Monte Carlo error rates. A crucial step in the proof is to establish an optimal bound for the Rademacher complexity of the residual networks. Comparisons are made with existing norm-based generalization error bounds.

연구 동기 및 목표

• 고차원 설정에서 깊은 잔차 네트워크의 일반화 오차에 대한 이해를 촉진한다.
• 새로운 가중 경로 노름을 갖는 정규화된 잔차 네트워크 모델을 도입한다.
• 타깃 함수와 네트워크 구조에 의해서만 의존하는 a priori 모집단 위험(리스크) 경계를 확립한다.
• 근사 오차와 추정 오차가 깊이, 너비, 데이터 크기에 따라 최적으로 스케일링됨을 보인다.

제안 방법

• 스킵 연결과 ReLU 활성화가 있는 네트워크 아키텍처를 정의한다(방정식 2.1).
• 매개변수 기반 정규화 항으로 가중 경로 노름을 도입한다(정의 2.4).
• 가중 경로 노름을 이용한 정규화된 경험적 위험 최소화를 형식화한다(방정식 2.12).
• Barron 공간 이론을 사용해 타깃 함수를 특징화하고 Barron 노름과 근사 능력을 연결한다(정의 2.1–2.3).
• 근사 결과(Theorem 2.7), Rademacher 복잡도 제어(Theorem 2.10), 일반화 분해(Theorem 2.5)를 결합하여 a priori 경계를 도출한다.
• 서브가우시안 노이즈가 있는 노이즈 설정으로 결과를 확장한다(정리 2.6).

실험 결과

연구 질문

• RQ1 노름 기반 정규화를 사용한 정규화된 잔차 네트워크의 모집단 위험에 대해 어떤 a priori 경계를 확립할 수 있는가?
• RQ2 가중 경로 노름이 추정 오차를 어떻게 제어하고 네트워크의 깊이와 너비와 어떻게 상호 작용하는가?
• RQ3 일반화 오차가 타깃 함수(Barron 노름) 및 네트워크 구조에만 의존하고 훈련 시 매개변수에 의존하지 않는 방식으로 경계될 수 있는가?
• RQ4 노이즈가 a priori 추정에 미치는 영향은 무엇이며, 잘라내기(truncation)가 이를 어떻게 관리하는 데 도움이 되는가?
• RQ5 경계가 몬테 카를로 오차율에 근접한 최적에 가까운 속도를 달성하는가?

주요 결과

• a priori 경-bound는 근사 항에 대해 모집단 위험이 ≤ O(1/(Lm))이고 추정 항에 대해 O(1/√n), 상수에 의해 몬테 카를로 속도와 일치한다.
• 가중 경로 노름은 깊이/너비에 독립적인 a posteriori Rademacher 복잡도 제어를 제공하여 깊이 및 너비에 구애받지 않는 일반화 경계 구성요소를 가능하게 한다.
• 타깃 함수의 Barron 노름이 주된 근사 오차를 좌우하며, Barron 노름이 작을수록 더 타이트한 경계가 형성된다(함수 클래스 통해).
• 가중 경로 노름을 이용한 정규화는 경험적 위험과 모델 복잡도 사이에 최적의 균형을 제공하여 과다 매개화 구간에서 견고한 최소화 결과를 얻는다.
• 결과는 서브가우시안 노이즈로 확장되며 무잡음 사례에 비해 로그가 있는 페널티만 발생한다(Theorem 2.6).