[논문 리뷰] Neural network approximation and estimation of classifiers with classification boundary in a Barron class

Andrei Caragea, Philipp Petersen외 1명|arXiv (Cornell University)|2020. 11. 18.

Brain Tumor Detection and Classification인용 수 7

한 줄 요약

이 논문은 决定境界가 Barron-유형 공간에 속하는 이진 분류 작업에서 ReLU 신경망의 근사 오차 및 추정 오차 경계를 수립한다. 분류 경계에 대한 약한 정칙 조건이 만족될 경우, 신경망은 차원의 저주를 극복하여 입력 차원에 독립적인 오차율을 달성할 수 있으며, 유한한 훈련 샘플을 사용한 경험 리스크 최소화를 통해 명시적인 일반화 보장을 얻는다.

ABSTRACT

We prove bounds for the approximation and estimation of certain binary classification functions using ReLU neural networks. Our estimation bounds provide a priori performance guarantees for empirical risk minimization using networks of a suitable size, depending on the number of training samples available. The obtained approximation and estimation rates are independent of the dimension of the input, showing that the curse of dimensionality can be overcome in this setting; in fact, the input dimension only enters in the form of a polynomial factor. Regarding the regularity of the target classification function, we assume the interfaces between the different classes to be locally of Barron-type. We complement our results by studying the relations between various Barron-type spaces that have been proposed in the literature. These spaces differ substantially more from each other than the current literature suggests.

연구 동기 및 목표

• 기존 방법이 차원의 저주로 어려움을 겪는 고차원 분류 문제에 도전한다.
• 복잡한 결정 경계를 가진 비연속 분류 함수를 근사하고 추정하는 ReLU 신경망에 대한 이론적 보장을 개발한다.
• 훈련 샘플 수에 비례하여 적절한 크기의 신경망을 사용한 경험 리스크 최소화의 사전 성능 경계를 제공한다.
• 분류 경계가 국소적으로 Barron-유형 정칙성을 띠면 차원의 저주를 극복할 수 있음을 증명한다.
• 기존 문헌에서 사용된 다양한 Barron-유형 함수 공간을 명확히 하고 그 상당한 차이점을 비교한다.

제안 방법

• 분류 함수를 서로소 영역 위의 지시 함수의 합으로 정의하며, 경계는 국소적으로 Barron-유형 정칙성을 가진다고 가정한다.
• 균일 또는 L^p 노름이 아닌, 진짜 집합과 근사된 집합 간의 대칭 차집합의 측도를 통해 근사 오차를 측정한다.
• 곱측도를 일반화하는 새로운 튜브 호환 측도 클래스를 도입하여, 경계 부근에서 측도가 ε^α의 속도로 감소하도록 보장한다. 여기서 α ∈ (0,1]이다.
• 임의의 과정 편차를 유한히 하기 위해 임계 함수 (Ig,λ)의 VC 차원 기반의 새로운 복잡도 측도를 사용한다.
• 전체 변동 및 분포 미적분 기법을 적용하여 함수 정칙성과 근사 오차 경계를 연결한다.
• 진동 함수를 포함한 반례를 통해 α ≥ 2 가 특정 오차율이 성립하기 위해 필수적임을 보여주는 하한선을 설정한다.

실험 결과

연구 질문

• RQ1 ReLU 신경망은 어떤 방식으로 입력 차원 d에 독립적인 근사 및 추정 오차 경계를 달성할 수 있는가?
• RQ2 분류 경계에 어떤 정칙 조건이 성립하면 차원의 저주를 피할 수 있는가?
• RQ3 문헌에서 제안된 다양한 Barron-유형 함수 공간 간의 관계는 무엇이며, 그 핵심 차이는 무엇인가?
• RQ4 이러한 분류기에서 경험 리스크 최소화 시 네트워크 크기와 일반화 오차 사이의 최적 트레이드오프는 무엇인가?
• RQ5 근사 오차는 경계 함수의 총 변동성에 대해 경계를 어떻게 설정할 수 있으며, 일반화에 대한 함의는 무엇인가?

주요 결과

• 이진 분류에서 ReLU 신경망의 근사 및 추정 오차율은 입력 차원 d에 대해 다항 인자 외에는 독립적이다.
• 크기가 N인 신경망을 경험 리스크 최소화에 사용할 경우, 튜브 호환 측도와 Barron-유형 경계 정칙성 조건 하에서 추정 오차는 O(N^{-1/2})의 순서를 가진다.
• 분류 경계가 Barron의 의미에서 국소적으로 유한 총 변동성을 띠면, 비록 분류기가 비연속이더라도 차원의 저주를 극복할 수 있다.
• 하한선 분석을 통해 튜브 호환 측도의 정규성 매개수 α는 특정 오차율이 성립하기 위해 α ≥ 2 여야 함을 보여주며, 이는 이전에 가정된 것보다 더 강한 부드러움 요구 조건을 의미한다.
• 문헌에서 사용된 다양한 Barron-유형 공간은 정의 및 성질 면에서 상당히 다름을 보이며, 이 차이는 이론 분석에 있어 핵심적이다.
• 임계 함수의 VC 차원을 활용한 새로운 경험 과정 일반화 경계를 제시하여, 일반적으로 고확률 경계에서 나타나는 로그 인자들을 피한다.