[논문 리뷰] Complexity Measures for Neural Networks with General Activation Functions Using Path-based Norms

Zhong Li, Chao Ma외 1명|arXiv (Cornell University)|2020. 09. 14.

Neural Networks and Applications참고 문헌 22인용 수 8

한 줄 요약

이 논문은 일반적인 활성화 함수를 갖는 신경망의 복잡도를 제어하기 위해 경로 기반 노름 프레임워크를 도입한다. 이는 두 층의 ReLU 네트워크를 통해 일반적인 활성화 함수를 근사함으로써 이루어지며, 전체 경로와 부분 경로 기여를 모두 포함하는 새로운 경로 노름을 도출하여, 두 층 및 딥 리뷰지드 네트워크에 대한 라데마처 복잡도 상한과 사전 일반화 오차 추정치를 가능하게 한다. 이는 이전의 ReLU 전용 결과를 더 넓은 활성화 함수로 확장한다.

ABSTRACT

A simple approach is proposed to obtain complexity controls for neural networks with general activation functions. The approach is motivated by approximating the general activation functions with one-dimensional ReLU networks, which reduces the problem to the complexity controls of ReLU networks. Specifically, we consider two-layer networks and deep residual networks, for which path-based norms are derived to control complexities. We also provide preliminary analyses of the function spaces induced by these norms and a priori estimates of the corresponding regularized estimators.

연구 동기 및 목표

• ReLU 네트워크에 대한 노름 기반 복잡도 제어를 일반적인 활성화 함수를 갖는 신경망으로 확장하기 위해.
• 크기 독립적이며 과다 매개변수화된 모델에 적용 가능한 복잡도 제어의 통합 프레임워크를 개발하기 위해.
• 새로운 경로 기반 노름에 의해 유도되는 함수 공간을 특성화하고, 정규화된 추정기의 사전 추정치를 도출하기 위해.
• 유한 경로 노름을 갖는 ReLU 네트워크를 사용한 일변수 함수의 근사 보증을 확립하기 위해.

제안 방법

• 모든 일반적인 활성화 함수를 두 층의 ReLU 네트워크로 근사하여, 원래의 네트워크를 매개변수 수가 증가한 등가의 ReLU 네트워크로 변환하기 위해.
• 기본 경로 노름에 더해 활성화 함수의 근사 오차를 고려하는 추가 항을 포함한 수정된 경로 기반 노름을 정의하기 위해.
• 두 층 및 딥 리뷰지드 네트워크에 대해 새로운 경로 기반 노름을 사용하여 라데마처 복잡도 상한을 도출하기 위해.
• 모든 경로, 특히 전체 길이의 경로뿐만 아니라 중간 층에서 시작하는 경로까지 고려하는 수정된 가중치가 부여된 경로 노름을 도입하기 위해.
• 커버링 수와 라데마처 복잡도 분석을 사용하여 정규화된 추정기의 일반화 오차 상한을 확립하기 위해.
• 일변수 ReLU 네트워크의 근사 능력을 유한 경로 노름으로 특성화하며, ∫|f''(x)|(|x|+1)dx < ∞ 를 만족하는 함수는 L∞(ℝ)에서 근사 가능하다는 것을 보여주기 위해.

실험 결과

연구 질문

• RQ1 ReLU 네트워크에 대한 노름 기반 복잡도 측정법을 일반적인 활성화 함수로 확장할 수 있는가?
• RQ2 일반적인 활성화 함수를 갖는 신경망의 복잡도를 제어하는 경로 기반 노름의 구조는 어떠한가?
• RQ3 일반적인 활성화 함수를 ReLU 네트워크로 근사하는 것이 결과 복잡도 측정법에 미치는 영향은 무엇인가?
• RQ4 새로운 경로 기반 노름에 의해 유도되는 함수 공간은 무엇이며, 근사 성질과의 관계는 어떠한가?
• RQ5 이 새로운 노름 하에서 정규화된 추정기의 사전 일반화 오차 추정치를 도출할 수 있는가?

주요 결과

• 일반적인 활성화 함수에 대한 제안된 경로 기반 노름은 두 항으로 구성되며, 기본 경로 노름과 활성화 함수 근사 오차를 반영하는 추가 항으로 이루어지며, 이는 중간 층에서 시작하는 모든 경로를 포함한다.
• 두 층 네트워크의 경우, 라데마처 복잡도는 새로운 경로 노름의 상수 배수로 상한이 주어지며, 이 상한은 활성화 함수의 근사 품질에 따라 달라진다.
• 딥 리뷰지드 네트워크의 경우, 수정된 경로 노름은 정규화된 추정기의 일반화 오차가 기대값에서 유한하게 유지되도록 보장하며, 이 상한은 매개변수의 노름과 데이터 분포에 따라 달라진다.
• 유한 경로 노름을 갖는 ReLU 네트워크로 일변수 함수를 근사하는 것은 함수가 ∫|f''(x)|(|x|+1)dx < ∞ 를 만족할 경우 가능하며, 이 경우 경로 노름은 이 적분의 배수로 유 bounds된다.
• 새로운 노름 프레임워크는 크기 독립적인 복잡도 제어를 가능하게 하여 과다 매개변수화된 설정에서 의미 없는 상한을 피할 수 있다.
• 이 방법은 정규화된 추정기의 사전 오차 추정치를 가능하게 하여, 이전의 ReLU 기반 결과를 일반적인 활성화 함수로 확장한다.