[논문 리뷰] Generalization in Machine Learning via Analytical Learning Theory

Kenji Kawaguchi, Yoshua Bengio외 2명|arXiv (Cornell University)|2018. 02. 21.

Machine Learning and Algorithms참고 문헌 46인용 수 14

한 줄 요약

이 논문은 통계적 가정 없이 데이터셋과 모델을 고정된 비랜덤 객체로 간주함으로써 기계학습에서 일반화를 분석하는 측도론적 프레임워크인 분석적 학습 이론을 도입한다. 이 이론은 CIFAR-10, CIFAR-100 및 SVHN에서 이전 방법들을 능가하는 새로운 정규화 방법을 유도하며, 일회 학습, 표현 학습 및 커리큘럼 학습에 대한 이론적 근거를 제공한다.

ABSTRACT

This paper introduces a novel measure-theoretic theory for machine learning that does not require statistical assumptions. Based on this theory, a new regularization method in deep learning is derived and shown to outperform previous methods in CIFAR-10, CIFAR-100, and SVHN. Moreover, the proposed theory provides a theoretical basis for a family of practically successful regularization methods in deep learning. We discuss several consequences of our results on one-shot learning, representation learning, deep learning, and curriculum learning. Unlike statistical learning theory, the proposed learning theory analyzes each problem instance individually via measure theory, rather than a set of problem instances via statistics. As a result, it provides different types of results and insights when compared to statistical learning theory.

연구 동기 및 목표

• 통계적 가정이나 랜덤 변수에 의존하지 않고 일반화를 분석하는 학습 이론을 개발하는 것.
• 집합론적 도구(농도 불등식이 아닌)를 사용해 개별 샘플 기반의 일반화 갭에 대한 이론적 경계를 제공하는 것.
• 제안된 이론에 기반한 새로운 정규화 방법을 도출하여 딥 러닝에서의 일반화를 향상시키는 것.
• 비통계적 프레임워크 내에서 일회 학습, 표현 학습 및 커리큘럼 학습과 같은 기존 실천 방법에 대한 이론적 근거를 제공하는 것.
• 통계적 학습 이론을 보완하기 위해 사전 지식을 후행적 종속 경계를 통해 강하게 개별 샘플에 의존하는 방식으로 집중하는 것.

제안 방법

• 측도론에 기반한 비통계적 학습 이론을 제안하여 진정한 데이터 측도, 학습 데이터셋, 학습된 모델을 모두 고정된 객체로 간주한다.
• 일반화 갭을 진정한 측도 하에서의 기대 오차와 학습 데이터셋에서의 경험적 오차의 차이로 정의한다.
• 데이터셋의 품질과 함수의 매끄러움을 각각 할로우와 크라우제의 의미에서의 이질성과 변동성으로 정의한다.
• 가설 공간의 복잡성과 무관하게 데이터셋의 이질성과 손실 함수의 변동성에 의존하는 일반화 경계를 유도한다.
• 유도된 경계에 기반해 학습 데이터에서 손실 함수의 높은 변동성을 방지하는 정규화 방법을 구축한다.
• 기존 방법들과의 성능 비교를 통해 CIFAR-10, CIFAR-100 및 SVHN에서 제안된 정규화 방법의 실험적 평가를 수행한다.

실험 결과

연구 질문

• RQ1 기계학습에서 데이터셋이나 학습 알고리즘의 무작위성을 가정하지 않고 일반화를 분석할 수 있는가?
• RQ2 측도론에 기반한 이론이 통계적 학습 이론보다 더 강력하고 개별 샘플 기반의 경계를 제공할 수 있는가?
• RQ3 데이터셋의 이질성과 함수의 변동성이 일반화 성능에 미치는 역할은 무엇인가?
• RQ4 이러한 이론에서 도출된 정규화 방법이 표준 벤치마크에서 기존 방법들을 능가할 수 있는가?
• RQ5 제안된 프레임워크는 일회 학습 및 커리큘럼 학습과 같은 실천 방법에 대해 이론적 근거를 제공하는가?

주요 결과

• 제안된 분석적 학습 이론은 가설 공간의 복잡성과 학습 알고리즘에 관계없이 개별 샘플 기반의 일반화 경계를 제공하며, 이 경계는 불변성을 유지한다.
• 유도된 정규화 방법은 CIFAR-10, CIFAR-100 및 SVHN에서 최신 기술 성능을 달성하여 이전 방법들을 능가한다.
• 이론은 이미지넷과 CIFAR-10에서 관찰된 바와 같이 큰 모델 용량과 결정론적 학습 데이터셋에서도 좋은 일반화가 가능하다는 경험적 관찰을 설명한다.
• 이 프레임워크는 일회 학습, 표현 학습 및 커리큘럼 학습을 측도론적 접근의 자연스러운 결과로 이론적으로 정당화한다.
• 일반화 경계는 라데마처 복잡도나 VC 차원과 같은 통계적 성질과는 무관하게 오직 데이터셋의 이질성과 함수의 변동성에 의존한다.
• 이 방법의 성공은 비통계적이고 개별 샘플에 의존하는 분석이 딥 러닝에서 실용적이고 이론적으로 타당한 향상을 이끌 수 있음을 시사한다.