[논문 리뷰] On the Generalization Properties of Minimum-norm Solutions for Over-parameterized Neural Network Models.

E Weinan, Chao Ma외 1명|arXiv (Cornell University)|2019. 12. 15.

Neural Networks and Applications참고 문헌 13인용 수 12

한 줄 요약

이 논문은 과도하게 파rameter화된 신경망 모델—특히 랜덤 프리필드, 두 층으로 이루어진 신경망, 잔차 신경망 아키텍처—에서 최소 노름 해가 충분히 과도하게 파rameter화된 경우, 몬테카를로 속도에 비슷한 일반화 오차를 달성함을 입증한다. 이 결과는 명시적 정규화 없이도 강력한 일반화 성능을 보이며, 오직 최소 노름의 인덕티브 바이어스에 의존한다는 점을 시사한다.

ABSTRACT

We study the generalization properties of minimum-norm solutions for three over-parametrized machine learning models including the random feature model, the two-layer neural network model and the residual network model. We proved that for all three models, the generalization error for the minimum-norm solution is comparable to the Monte Carlo rate, up to some logarithmic terms, as long as the models are sufficiently over-parametrized.

연구 동기 및 목표

• 과도하게 파arameter화된 기계학습 모델에서 최소 노름 해의 일반화 행동을 이해하는 것.
• 높은 능력에도 불구하고 이러한 해가 유리한 일반화 오차율을 달성하는지 분석하는 것.
• 랜덤 프리필드, 두 층으로 이루어진 신경망, 잔차 신경망이라는 세 가지 핵심 과도하게 파arameter화된 모델에서 일반화에 대한 이론적 보장을 수립하는 것.
• 충분한 과도하게 파arameter화 조건 하에서 일반화 오차가 몬테카를로 속도와 유사하게 스케일링됨을 보여주는 것.

제안 방법

• 랜덤 프리필드, 두 층으로 이루어진 신경망, 잔차 신경망이라는 세 가지 과도하게 파arameter화된 모델에서 최소 노름 해의 일반화 오차를 분석하는 것.
• 통계적 학습 이론을 사용하여 일반화 오차를 모델의 과도하게 파arameter화 수준에 따라 경계하는 것.
• 파aram터 수의 역수 비례로 스케일링되는 오차 경계를 도출하는 것—로그 요소를 제외한 경우.
• 집중 불등식과 난수 행렬 이론을 적용하여 경험 리스크가 진짜 리스크에서 벗어나지 않도록 제어하는 것.
• 과도하게 파arameter화된 설정에서 최소 노름 해의 암묵적 정규화 효과를 활용하는 것.
• 일반화 오차가 몬테카를로 속도에 비슷한 항으로 경계됨을 확립하는 것—로그 요소를 제외한 경우.

실험 결과

연구 질문

• RQ1 과도하게 파arameter화된 신경망에서 최소 노름 해가 몬테카를로 속도에 근접한 일반화 오차를 달성하는가?
• RQ2 과도하게 파arameter화가 다양한 신경망 아키텍처에서 최소 노름 해의 일반화 성능에 어떻게 영향을 미치는가?
• RQ3 랜덤 프리필드 및 잔차 신경망의 맥락에서 최소 노름 해의 암묵적 정규화가 이론적으로 정당화될 수 있는가?
• RQ4 과도하게 파arameter화된 모델에서 일반화 오차가 파aram터 수에 어떻게 의존하는가?
• RQ5 최소 노름 해의 일반화 성능은 다양한 과도하게 파arameter화된 아키텍처 간에 강인한가?

주요 결과

• 랜덤 프리필드, 두 층으로 이루어진 신경망, 잔차 신경망이라는 세 모델 전반에 걸쳐, 최소 노름 해의 일반화 오차는 몬테카를로 속도에 비슷한 항으로 경계된다.
• 일반화 오차는 n(학습 샘플 수)에 대해 O(1/√n)로 스케일링되며, 로그 요소를 제외한 경우이다.
• 이 경계는 파aram터 수가 샘플 수를 다항식 인수로 초과하는 충분한 과도하게 파arameter화 조건 하에서 성립한다.
• 명시적 정규화 없이도 성립하므로, 최소 노름 해가 일반화 오차를 암묵적으로 제어한다는 것을 시사한다.
• 이론적 분석은 최소 노름 해가 과도하게 파arameter화된 환경에서 거의 최적의 일반화 성능를 달성함을 확인한다.
• 오차 경계에 포함된 로그 요소는 현재 분석 프레임워크 하에서는 피할 수 없지만, 고차원 영역에서는 성능에 크게 영향을 주지 않는다.