[논문 리뷰] Capturing the learning curves of generic features maps for realistic data sets with a teacher-student model.

Bruno Loureiro, Cédric Gerbelot외 5명|arXiv (Cornell University)|2021. 02. 16.

Machine Learning and Data Classification인용 수 21

한 줄 요약

이 논문은 고차원 가우시안 공변량 모델을 사용하여 실제 데이터에서 학습 곡선을 모델링하기 위해 일반적인 특징 맵을 갖춘 교사-학생 프레임워크를 소개한다. 이 프레임워크는 점점 커지는 차원에서의 훈련 손실과 일반화 오차에 대해 엄밀한 공식을 유도하며, 랜덤 프로젝션과 산란 변환과 같은 표준 특징 맵을 사용할 때 커널 기반의 학습 곡선을 정확하게 포착함을 보여준다.

ABSTRACT

Teacher-student models provide a powerful framework in which the typical case performance of high-dimensional supervised learning tasks can be studied in closed form. In this setting, labels are assigned to data - often taken to be Gaussian i.i.d. - by a teacher model, and the goal is to characterise the typical performance of the student model in recovering the parameters that generated the labels. In this manuscript we discuss a generalisation of this setting where the teacher and student can act on different spaces, generated with fixed, but generic feature maps. This is achieved via the rigorous study of a high-dimensional Gaussian covariate model. Our contribution is two-fold: First, we prove a rigorous formula for the asymptotic training loss and generalisation error achieved by empirical risk minimization for this model. Second, we present a number of situations where the learning curve of the model captures the one of a \emph{realistic data set} learned with kernel regression and classification, with out-of-the-box feature maps such as random projections or scattering transforms, or with pre-learned ones - such as the features learned by training multi-layer neural networks. We discuss both the power and the limitations of the Gaussian teacher-student framework as a typical case analysis capturing learning curves as encountered in practice on real data sets.

연구 동기 및 목표

• 교사와 학생이 서로 다른 공간에서 작동하는 설정으로 일반적인 특징 맵을 통해 교사-학생 프레임워크를 확장하기 위해.
• 일반적인 특징을 갖는 고차원 설정에서 훈련 손실과 일반화 오차에 대한 엄밀한 점점 커지는 공식을 제공하기 위해.
• 가우시안 교사-학생 모델이 표준 특징 맵을 사용할 때 실제 데이터에서 관찰된 학습 곡선을 재현할 수 있는지 평가하기 위해.
• 커널 방법을 사용하는 실질적인 기계 학습 시나리오를 모델링할 때 프레임워크의 능력과 한계를 평가하기 위해.

제안 방법

• 입력 데이터가 고정된 일반적인 특징 맵을 사용하여 생성되는 고차원 가우시안 공변량 모델을 활용한다.
• 교사는 특징 공간에서 선형 모델을 사용하여 데이터에 레이블을 할당하고, 학생은 경험적 리스크 최소화를 통해 교사의 파라미터를 복구한다.
• 고차원 극한에서 엄밀한 점점 커지는 분석을 수행하여 훈련 손실과 일반화 오차에 대한 폐쇄형 표현식을 도출한다.
• 유도된 학습 곡선을 실제 데이터에서의 커널 회귀 및 분류 곡선과 비교하여 분석을 검증한다.
• 사전 훈련된 특징(예: 딥 네URAL 네트워크에서 유도된 것)과 고정된 특징 맵(예: 랜덤 프로젝션과 산란 변환) 모두에 적용 가능하다.
• 이론적 결과는 랜덤 매트릭스 이론과 고차원 확률론의 도구를 사용하여 도출된다.

실험 결과

연구 질문

• RQ1 일반적인 특징 맵을 갖춘 교사-학생 프레임워크가 커널 방법을 사용할 때 실제 데이터에서 관찰된 학습 곡선을 정확히 재현할 수 있는가?
• RQ2 고차원 극한에서 훈련 손실과 일반화 오차는 특징 맵의 선택에 따라 어떻게 달라지는가?
• RQ3 가우시안 교사-학생 모델은 실제 데이터셋에 대해 훈련된 모델의 행동을 어느 정도 정확히 포착하는가? (기본 기능 또는 학습된 기능을 사용할 때)
• RQ4 실제 학습 역학을 모델링할 때 가우시안 가정의 한계는 무엇인가?

주요 결과

• 일반적인 특징 맵을 갖는 고차원 극한에서 훈련 손실과 일반화 오차에 대해 엄밀한 점점 커지는 공식이 도출되었다.
• 랜덤 프로젝션 또는 산란 변환을 특징 맵으로 사용할 때, 프레임워크는 실제 데이터에서의 커널 회귀 및 분류의 학습 곡선을 정확히 포착한다.
• 딥 네URAL 네트워크에 의해 사전 학습된 특징을 사용할 때도 얻어진 학습 곡선을 재현할 수 있어 실용적 관련성을 입증한다.
• 가우시안 교사-학생 프레임워크는 실질적인 학습 역학에 대해 타당한 일반적인 케이스 분석을 제공하지만, 그 정확도는 특징 맵의 구조와 데이터 분포에 따라 달라진다.