[논문 리뷰] A New Perspective on Machine Learning: How to do Perfect Supervised Learning

Hui Jiang|arXiv (Cornell University)|2019. 01. 07.

Machine Learning and Algorithms참고 문헌 22인용 수 4

한 줄 요약

이 논문은 물리적 실현 가능성에 뿌리를 두고 있는 밴드리미팅을 통합함으로써 지도 학습을 위한 새로운 이론적 프레임워크를 제안한다. 이에 따라 모든 실용적 학습 과제는 충분한 데이터와 충분히 복잡한, 밴드리미티드 모델이 있으면 渐진적으로 해를 구할 수 있음을 보여준다. 핵심 결과는 학습 데이터 크기가 증가함에 따라 일반화 오차가 0으로 수렴한다는 것으로, 이는 대규모 신경망에서 과적합을 피할 수 있는 역설을 해결한다.

ABSTRACT

In this work, we introduce the concept of bandlimiting into the theory of machine learning because all physical processes are bandlimited by nature, including real-world machine learning tasks. After the bandlimiting constraint is taken into account, our theoretical analysis has shown that all practical machine learning tasks are asymptotically solvable in a perfect sense. Furthermore, the key towards this solvability almost solely relies on two factors: i) a sufficiently large amount of training samples beyond a threshold determined by a difficulty measurement of the underlying task; ii) a sufficiently complex and bandlimited model. Moreover, for some special cases, we have derived new error bounds for perfect learning, which can quantify the difficulty of learning. These generalization bounds are not only asymptotically convergent but also irrelevant to model complexity. Our new results on generalization have provided a new perspective to explain the recent successes of large-scale supervised learning using complex models like neural networks.

연구 동기 및 목표

• 지속적인 이론-실천 격차를 해결하기 위해, 특히 높은 용량에도 불구하고 대규모 신경망이 잘 일반화되는 이유를 설명한다.
• 실제 학습 과제에서 물리적 제약 조건인 밴드리미팅을 형식화하며, 모든 물리적 과정이 본질적으로 밴드리미티드임을 인정한다.
• 모델 복잡도의 극한에서 독립적으로 지도 학습이 渐진적으로 완벽해지는 조건을 설정한다.
• 모델 복잡도에 영향을 받지 않는 일반화 오차 경계를 유도한다.
• 충분한 데이터 스케일링과 함께 밴드리미티드 함수 근사의 관점에서 딥 러닝의 성공을 설명한다.

제안 방법

• 목표 함수 $ f(\boldsymbol{x}) $ 가 밴드리미티드라고 가정함으로써 물리적 실현 가능성 반영하는 결정론적 함수 피팅 설정을 도입한다.
• 정규직교 다항식 기저를 사용한 다변수 테일러 전개를 적용하여 목표 함수와 학습된 모델 $ \hat{f}(\boldsymbol{x}) $ 를 표현하고, 오차 항을 $ \xi_n(\boldsymbol{x}) $ 로 경계한다.
• 학습 샘플에서 구성된 다변수 밴더몬드 행렬을 사용하여 모델 계수를 구하고, 샘플이 $ p(\boldsymbol{x}) $ 에서 i.i.d. 이면 행렬이 거의 확실히 가역적임을 증명한다.
• 학습 샘플 수 $ N \to \infty $ 일 때 진짜 계수와 학습된 계수의 차이가 사라지고 잔차 오차 $ \boldsymbol{\xi}_N \to 0 $ 가 되어 $ \hat{f} \to f $ 수렴함을 보여준다.
• 작은 밴드 외 잔차 $ \epsilon $ 를 도입하여 약간의 밴드리미티드 함수로 증명을 확장하고, $ B_\epsilon $-밴드리미팅 하에서 수렴성을 유지한다.
• 학습된 두 모델 $ \hat{f}_1 $ 과 $ \hat{f}_2 $ 가 $ N \to \infty $ 일 때 $ L^2 $-노름에서 동일한 경향을 보이며, 기댓값에 대해 $ \|\hat{f}_1 - \hat{f}_2\| \to 0 $ 임을 증명한다.

실험 결과

연구 질문

• RQ1 대규모 신경망은 이론적으로 과적합이 발생할 것으로 예측되지만 실생활에서는 왜 잘 일반화되는가?
• RQ2 밴드리미팅과 같은 현실적인 물리적 제약 조건 하에서 지도 학습이 渐진적으로 완벽해질 수 있는가?
• RQ3 완벽한 학습을 위한 최소 데이터 요구량은 무엇이며, 이는 과제의 본질적 어려움과 어떻게 관련되는가?
• RQ4 모델 복잡도에 영향을 받지 않는 일반화 오차 경계는 어떻게 도출할 수 있는가?
• RQ5 밴드리미티드 모델과 충분한 데이터는 진짜 함수로의 수렴을 얼마나 보장하는가?

주요 결과

• 목표 함수와 모델이 모두 밴드리미티드이고 충분한 학습 데이터가 있으면 모든 실용적 기계 학습 과제는 완전한 의미에서 渐진적으로 해를 구할 수 있다.
• 학습 데이터 수 $ N \to \infty $ 일 때 기댓값 일반화 오차 $ R(\hat{f}|\mathcal{D}_N) \to 0 $ 이며, 오차 경계는 $ \frac{(KB^\prime U)^{n+1}H}{(n+1)!} \to 0 $ 로 감소하며, 이는 모델 복잡도와 무관하다.
• 필요한 학습 샘플 수 $ N $ 는 입력 차원 $ K $ 에 대해 $ O((N^{1/K})) $ 의 비율로 증가하며, 이는 테일러 전개의 차수를 통해 데이터 크기와 모델 용량을 연결한다.
• 학습 샘플이 i.i.d. 이면 학습 샘플에서 구성된 다변수 밴더몬드 행렬은 거의 확실히 가역적이며, 이는 극한에서 유일한 해 복원을 보장한다.
• 약간의 밴드리미티드 함수에 대해서는 진짜 밴드리미트 $ B $ 를 $ \epsilon $-근사 밴드리미트 $ B_\epsilon $ 로 대체함으로써 수렴 결과가 유지되며 오차 경계도 유지된다.
• 모든 두 학습된 모델 $ \hat{f}_1 $ 과 $ \hat{f}_2 $ 는 $ N \to \infty $ 일 때 $ p(\boldsymbol{x}) $ 에 대한 $ L^2 $-노름에서 서로 수렴하며, 이는 극한 영역에서 모델의 동치성을 증명한다.