[논문 리뷰] Providing theoretical learning guarantees to Deep Learning Networks

Rodrigo Fernandes de Mello, Martha Dais Ferreira외 1명|arXiv (Cornell University)|2017. 11. 28.

Adversarial Robustness in Machine Learning참고 문헌 15인용 수 6

한 줄 요약

이 논문은 통계학적 학습 이론을 적용하여 컨volutional 신경망(CNN)의 Shattering 계수를 추정하는 이론적 프레임워크를 제안한다. 이는 학습 보장을 가능하게 한다. 네트워크의 편향 복잡도를 모델링함으로써, VGG16과 같은 깊은 아키텍처가 단순한 아키텍처보다 훨씬 더 높은 함수 공간 복잡도를 가지며, 이는 경험적 위험과 유사할지라도, 모델 선택 시 이론적 편향 복잡도를 고려해야 한다는 것을 시사한다.

ABSTRACT

Deep Learning (DL) is one of the most common subjects when Machine Learning and Data Science approaches are considered. There are clearly two movements related to DL: the first aggregates researchers in quest to outperform other algorithms from literature, trying to win contests by considering often small decreases in the empirical risk; and the second investigates overfitting evidences, questioning the learning capabilities of DL classifiers. Motivated by such opposed points of view, this paper employs the Statistical Learning Theory (SLT) to study the convergence of Deep Neural Networks, with particular interest in Convolutional Neural Networks. In order to draw theoretical conclusions, we propose an approach to estimate the Shattering coefficient of those classification algorithms, providing a lower bound for the complexity of their space of admissible functions, a.k.a. algorithm bias. Based on such estimator, we generalize the complexity of network biases, and, next, we study AlexNet and VGG16 architectures in the point of view of their Shattering coefficients, and number of training examples required to provide theoretical learning guarantees. From our theoretical formulation, we show the conditions which Deep Neural Networks learn as well as point out another issue: DL benchmarks may be strictly driven by empirical risks, disregarding the complexity of algorithms biases.

연구 동기 및 목표

• 딥 러닝에서 이론적 학습 보장의 부족을 해결하기 위해 통계학적 학습 이론을 CNN에 적용함.
• Shattering 계수를 적합한 함수 공간의 척도로 삼아, 딥 네트워크의 알고리즘 편향의 복잡도를 정량화함.
• 일반적으로 가정되는 아키텍처의 동등성(예: 3×3 필터 대비 7×7 필터)이 실제로 동일한 학습 능력을 갖는지 분석함.
• Vapnik의 통계학적 학습 이론에서 유도된 일반화 경계를 사용하여, AlexNet 및 VGG16과 같은 아키텍처의 일반화를 보장하기 위해 필요한 최소 훈련 예제 수를 이론적으로 도출함.

제안 방법

• 입력 차원과 파라미터 수에 기반하여 단일 뉴런의 Shattering 계수를 추정하는 공식 유도.
• 개별 뉴런의 복잡도를 조합하여 다중층에 대한 Shattering 계수 추정을 확장하고, 총 함수 공간 크기를 모델링함.
• Vapnik의 통계학적 학습 이론에서 유도된 일반화 경계를 적용하고, Shattering 계수를 편향 복잡도의 대체 척도로 사용함.
• Chernoff 경계를 사용하여 Shattering 계수의 로그에 따라 의존하는 이론적 일반화 오차 상한을 유도함.
• 예: 3×3 세층 CNN 대비 7×7 단일층 CNN을 비교하여 Shattering 계수를 계산하고 대조함.
• 다양한 필터 크기와 뉴런 수에 대해 Shattering 계수의 다항식 형태를 경험적으로 추정하여, 편향 복잡도의 정량적 비교를 가능하게 함.

실험 결과

연구 질문

• RQ1 CNN 아키텍처의 Shattering 계수는 그 학습 능력과 편향 복잡도를 신뢰할 수 있는 이론적 척도로 제공하는가?
• RQ2 동일한 경험적 위험(예: 동일한 테스트 정확도)을 보이는 두 CNN 아키텍처가 편향 복잡도의 차이로 인해 이론적 학습 보장이 크게 다를 수 있는가?
• RQ3 층 수와 각 층의 뉴런 수가 Shattering 계수에 미치는 영향은 무엇이며, 이는 일반화를 위해 필요한 훈련 예제 수에 어떻게 영향을 주는가?
• RQ4 필터 크기(3×3 대비 7×7)와 같은 아키텍처 선택이 실질적으로 동등하다고 주장되더라도, 함수 공간 크기에 얼마나 큰 영향을 미치는가?
• RQ5 VGG16 및 AlexNet과 같은 깊은 네트워크의 경험적 성공만으로는 일반화를 보장할 수 있는가, 아니면 편향 복잡도의 이론적 분석이 반드시 필요한가?

주요 결과

• 층 수가 3개이고 각 층에 64개의 뉴런이 있는 3×3 세층 CNN의 Shattering 계수는 약 (7.85n² + 147.69n - 2871.02)^192이며, 이는 매우 큰 함수 공간을 의미한다.
• 7×7 단일층 CNN에 64개의 뉴런이 있는 경우 Shattering 계수는 (9.81n² + 11.32n - 171.91)^64이며, 이는 세층 3×3 버전보다 상당히 작다.
• 유사한 경험적 성능에도 불구하고, 3×3 세층 아키텍처는 7×7 단일층 아키텍처보다 훨씬 더 높은 편향 복잡도를 가지며, 이는 제한된 데이터에서 이론적으로 일반화 능력이 떨어짐을 시사한다.
• 이론적 분석 결과, 파라미터 수와 층 수가 Shattering 계수를 기하급수적으로 증가시켜, 훈련 데이터가 부족할 경우 일반화를 어렵게 한다.
• 논문은 Simonyan과 Zisserman의 3×3 필터와 7×7 필터가 동등하다는 주장이 경험적으로는 타당하지만, 이론적으로는 잘못되었음을 확인한다. 함수 공간 크기가 상당히 다름을 보였기 때문이다.
• 이 논문은 경험적 위험 최소화에만 의존하는 것이 부족하며, 모델 선택 시 편향 복잡도에서 유도된 이론적 학습 경계도 고려해야 한다고 결론 내린다.