[논문 리뷰] Modeling Generalization in Machine Learning: A Methodological and Computational Study

Pietro Barbiero, Giovanni Squillero외 1명|arXiv (Cornell University)|2020. 06. 28.

Machine Learning and Data Classification참고 문헌 44인용 수 28

한 줄 요약

이 연구는 기계 학습 일반화를 모델링하기 위해 109개의 공개 분류 데이터셋을 분석하며, 데이터셋 특성들이 모델 성능에 미치는 영향을 집중적으로 다룬다. 연구는 학습 데이터의 볼록 껍질이 내삽과 외삽을 구분하는 데 핵심적인 요소임을 입증하며, 차원 수가 일반화와 놀랍게 약한 상관관계를 보임을 밝혀내어 기존의 '차원의 저주' 가정에 도전한다. 이는 고용량 모델이 고차원 공간에서도 잘 일반화된다는 것을 시사한다.

ABSTRACT

As machine learning becomes more and more available to the general public, theoretical questions are turning into pressing practical issues. Possibly, one of the most relevant concerns is the assessment of our confidence in trusting machine learning predictions. In many real-world cases, it is of utmost importance to estimate the capabilities of a machine learning algorithm to generalize, i.e., to provide accurate predictions on unseen data, depending on the characteristics of the target problem. In this work, we perform a meta-analysis of 109 publicly-available classification data sets, modeling machine learning generalization as a function of a variety of data set characteristics, ranging from number of samples to intrinsic dimensionality, from class-wise feature skewness to $F1$ evaluated on test samples falling outside the convex hull of the training set. Experimental results demonstrate the relevance of using the concept of the convex hull of the training data in assessing machine learning generalization, by emphasizing the difference between interpolated and extrapolated predictions. Besides several predictable correlations, we observe unexpectedly weak associations between the generalization ability of machine learning models and all metrics related to dimensionality, thus challenging the common assumption that the extit{curse of dimensionality} might impair generalization in machine learning.

연구 동기 및 목표

• 기계 학습 일반화 성능과 관련된 데이터셋 특성들이 어떤지 조사하기 위해.
• 학습 데이터의 볼록 껍질이 기계 학습 예측에서 내삽과 외삽을 신뢰할 만한 기준으로 사용될 수 있는지 평가하기 위해.
• 고차원성이 기계 학습에서 일반화를 본질적으로 악화시킨다는 널리 퍼진 믿음을 도전하기 위해.
• 특히 내 Hull 및 외 Hull 예측에 중점을 두고 데이터셋 특성에 기반해 일반화 능력을 예측하는 메타모델을 개발하기 위해.

제안 방법

• 저자들은 OpenML과 같은 정제된 출처에서 확보한 109개의 공개 가능 분류 데이터셋에 대해 메타분석을 수행했다.
• 표본 수, 특성 수, 클래스별 특성 기울기, 내재 차원 수 등 다양한 데이터셋 특성을 계산했다.
• 학습 세트의 볼록 껍질을 계산하여 테스트 포인트를 내부(내삽) 또는 외부(외삽)로 분류했다.
• 최신 기술 기반 분류기(예: 로지스틱 회귀, SVM, 랜덤 포레스트)를 내 Hull 및 외 Hull 테스트 포인트에 대해 훈련하고 평가했다.
• 기본 특성과 F1 점수와 같은 모델 성능 지표 간의 관계를 모델링하기 위해 기호 회귀를 사용했다.
• 파레토 최적 경로 비교를 통해 볼록 껍질 내외에서 데이터셋 특성이 모델 성능에 미치는 상대적 영향을 평가했다.

실험 결과

연구 질문

• RQ1 데이터셋 특성들이 기계 학습 모델의 일반화 성능와 어떤 상관관계를 가지는가?
• RQ2 학습 데이터의 볼록 껍질이 모델의 일반화 능력을 얼마나 잘 예측할 수 있는가?
• RQ3 '차원의 저주' 가정이 암시하는 바처럼, 차원 수와 일반화 성능 사이에 유의미한 관계가 있는가?
• RQ4 다양한 기계 학습 모델(예: LR, SVC, RF)은 데이터셋 특성에 따라 일반화 능력에서 어떻게 다를까?
• RQ5 데이터셋 특성이 내 Hull 및 외 Hull 테스트 포인트에서 모델의 일반화 성능을 신뢰성 있게 예측할 수 있는가?

주요 결과

• 학습 데이터의 볼록 껍질은 일반화 성능을 강력한 예측 기준으로 제공하며, 내 Hull(내삽) 예측에서의 성능이 외 Hull(외삽) 예측보다 유의미하게 높다.
• 일반화 성능과 모든 차원 관련 지표 간의 놀랍게 약한 상관관계를 발견하여, 고차원성이 본질적으로 일반화를 악화시킨다는 가정에 도전한다.
• 랜덤 포레스트와 같은 고용량 모델은 내 Hull 및 외 Hull 영역 모두에서 더 강건한 일반화 성능를 보이며, 이는 데이터셋 특성에 덜 민감함을 시사한다.
• 데이터셋 특성에서 내삽 성능(F1_in)을 예측하는 것은 가능하고 잘 모델링되었지만, 외삽 성능(F1_out)을 예측하는 것은 훨씬 더 어렵다.
• 내재 차원 수 비율과 클래스별 특성 상관관계 간에는 약한 양의 상관관계(ρ = 0.45)를 보이며, 이는 특성 중복의 영향이 제한적임을 시사한다.
• 결과는 실제 세계 데이터셋이 가능한 모든 데이터셋의 비표본적 부분집합일 수 있음을 시사하며, 이는 이론적 모델이 예측하는 것보다 기계 학습 모델이 더 잘 일반화되는 이유를 설명할 수 있다.