[논문 리뷰] Optimal learning of high-dimensional classification problems using deep neural networks

Philipp Petersen, Felix Voigtlaender|arXiv (Cornell University)|2021. 12. 23.

Machine Learning and Algorithms인용 수 4

한 줄 요약

이 논문은 깊이 있는 ReLU 신경망을 사용한 고차원 이元 분류 문제에서 최소최대 최적 학습률을 확립한다. 결정 경계가 Barron-정규일 경우 일반화 오차가 입력 차원에 영향을 받지 않고 감소함을 보여주며, Barron 클래스에 대한 날카운 에ント로피 한계를 유도하고, 깊이 있는 ReLU 네트워크에서의 경험 리스크 최소화가 최적의 학습률을 달성함을 증명한다. 이는 결정 경계의 정규성 조건 하에서 차원의 극복을 효과적으로 가능하게 한다.

ABSTRACT

We study the problem of learning classification functions from noiseless training samples, under the assumption that the decision boundary is of a certain regularity. We establish universal lower bounds for this estimation problem, for general classes of continuous decision boundaries. For the class of locally Barron-regular decision boundaries, we find that the optimal estimation rates are essentially independent of the underlying dimension and can be realized by empirical risk minimization methods over a suitable class of deep neural networks. These results are based on novel estimates of the $L^1$ and $L^\infty$ entropies of the class of Barron-regular functions.

연구 동기 및 목표

• 고차원 공간에서 매끄러운 결정 경계를 가진 분류 함수를 학습하기 위한 최소최대 하한을 확립하는 것.
• 결정 경계가 局소 Barron-정규일 경우 분류 문제의 최적 일반화 오차 속도를 특성화하는 것.
• 딥 뉴럴 네트워크가 이러한 문제에 대해 최적의 속도를 달성할 수 있는지에 대한 이해 격차를 메우는 것.
• 일반화 한계에 필수적인 Barron 클래스에 대한 $L^1$ 및 $L^∞$ 메트릭 에ント로피의 날카운 추정치를 도출하는 것.
• 경험 리스크 최소화가 깊이 있는 ReLU 네트워크에서 최적의 속도를 달성함을 보여주는 것. 이는 환경 차원에 관계없이 성립한다.

제안 방법

• 저자들은 양과 바론이 알려준 최소최대 하한을 활용하기 위해 분류 추정 문제를 밀도 추정 프레임워크로 변환한다.
• 결정 경계 클래스의 $L^1$ 메트릭 에ント로피 기반으로 일반적인 최소최대 하한을 도출하며, 이로 인해 속도가 $\varepsilon^{-1/\alpha}$의 에ント로피 스케일링에 따라 달라짐을 보여준다.
• Barron 클래스의 $L^\infty$ 및 $L^1$ 에ント로피 수에 대해 새로운 날카운 상한과 하한을 확립하며, 이들 사이의 차이는 로그 인자 외에는 없다.
• 이러한 에ント로피 추정치를 바탕으로, Barron-정규 결정 경계에 대해 최적의 학습 속도가 $m^{-\alpha/(\alpha+1)}$임을 증명하며, 이는 차원에 독립적임을 보인다.
• 이 방법은 깊이 있는 ReLU 네트워크에서의 경험 리스크 최소화를 적용하며, 결과로 도출된 추정기의 성능이 유도된 최소최대 하한에 도달함을 보여준다.
• 분석은 브라켓팅 에ント로피와 커버링 수를 포함한 경험 과정 이론의 고급 도구에 기반하며, [24]의 결과를 분류 설정에 적응시켰다.

실험 결과

연구 질문

• RQ1 매끄러운 결정 경계를 가진 고차원 분류 함수를 학습할 때의 기본 최소최대 하한은 무엇인가?
• RQ2 딥 뉴럴 네트워크는 국소 Barron-정규 결정 경계를 가진 분류 문제에서 최적의 일반화 속도를 달성할 수 있는가?
• RQ3 Barron 클래스의 메트릭 에ント로피는 $L^1$ 및 $L^\infty$ 노름에서 어떻게 스케일링되며, 이는 학습 속도에 어떤 영향을 미치는가?
• RQ4 결정 경계에 정규성 조건이 있을 경우 일반화 오차 속도가 입력 차원 $d$에 얼마나 의존하는가?
• RQ5 노이즈가 없는 설정에서 깊이 있는 ReLU 네트워크에서의 경험 리스크 최소화가 최적의 속도를 달성하는 데 충분한가?

주요 결과

• 결정 경계가 $\varepsilon^{-1/\alpha}$의 $L^1$ 메트릭 에ント로피 스케일링을 가지는 클래스에 속할 경우, $L^2$-오차에 대한 최소최대 하한은 $m^{-\alpha/(\alpha+1)}$이며, 이 하한은 날카롭다.
• 국소 Barron-정규 결정 경계의 클래스에 대해 최적의 학습 속도는 $m^{-\alpha/(\alpha+1)}$이며, 이는 환경 차원 $d$에 독립적이다.
• $L^1$ 메트릭 에ント로피는 $\varepsilon^{-1/\alpha}$ 수준으로 스케일링되며, 로그 인자 외에는 정확히 동일하며, $L^\infty$ 에ント로피도 유사하게 스케일링되며, 상한과 하한 사이의 차이는 $\log$ 항 외에는 없다.
• 깊이 있는 ReLU 네트워크에서의 경험 리스크 최소화는 Barron-정규 함수에 대해 최적의 속도 $m^{-\alpha/(\alpha+1)}$를 달성한다. 이는 깊이 있는 네트워크가 이 설정에서 최소최대 최적임을 증명한다.
• 결과는 결정 경계에 충분한 정규성, 특히 Barron 정규성 조건이 있을 경우 분류 문제에서 차원의 극복을 극복할 수 있음을 보여준다.
• 분석은 노이즈가 없는 설정에서 일반화 오차가 $m^{-1/2}$보다 더 빠르게 감소할 수 있음을 확인하며, 이는 고차원에서도 결정 경계가 Barron 의미에서 매끄럽다면 성립한다.