[논문 리뷰] Optimizing for Generalization in Machine Learning with Cross-Validation Gradients

Shane Barratt, Rishi Sharma|arXiv (Cornell University)|2018. 05. 18.

Machine Learning and Data Classification인용 수 5

한 줄 요약

이 논문은 로지스틱 회귀, 엘라스틱넷, 서포트 벡터 머신 등 볼록 기계학습 모델에서 초모수에 대해 교차검증 손실을 미분 가능한 방법인 교차검증 기울기(CVGM)를 소개한다. 고차원 초모수 공간에서 기울기 기반 최적화를 가능하게 함으로써 CVGM은 상태최고 수준의 일반화 성능을 달성하며, 60개 샘플 데이터셋에서 89.8%의 테스트 정확도를 기록했고, 신경망 커널을 통한 엔드 투 엔드 미분 가능한 특징 학습을 가능하게 한다.

ABSTRACT

Cross-validation is the workhorse of modern applied statistics and machine learning, as it provides a principled framework for selecting the model that maximizes generalization performance. In this paper, we show that the cross-validation risk is differentiable with respect to the hyperparameters and training data for many common machine learning algorithms, including logistic regression, elastic-net regression, and support vector machines. Leveraging this property of differentiability, we propose a cross-validation gradient method (CVGM) for hyperparameter optimization. Our method enables efficient optimization in high-dimensional hyperparameter spaces of the cross-validation risk, the best surrogate of the true generalization ability of our learning algorithm.

연구 동기 및 목표

• 진정한 데이터 분포가 가용하지 않기 때문에 직접 측정하기 어려운 일반화 성능을 향상시키기 위한 기계학습 모델 최적화 문제를 해결하기 위해.
• 특히 고차원 또는 복잡한 초모수 공간에서 교차검증을 블랙박스로 간주하는传통적 초모수 튜닝 방법의 한계를 극복하기 위해.
• 일반적인 볼록 모델에서 교차검증 손실이 초모수에 대해 미분 가능하다는 것을 증명함으로써 기울기 기반 초모수 최적화를 가능하게 하기 위해.
• 교차검증 기울기를 사용하여 엔드 투 엔드로 특징 공학을 학습시킬 수 있으며, 수동적 특징 설계에 대한 의존도를 줄이기 위해.
• 제한된 훈련 데이터에서도 잘 일반화됨을 보여주며, 낮은 데이터 환경에서 표준 기준보다 뛰어난 성능을 발휘함을 보여주기 위해.

제안 방법

• 은닉 함수 정리(implicit function theorem)를 활용하여 교차검증 손실을 초모수에 대해 미분함으로써, 최적 모델 파rameter를 통해 기울기 계산을 가능하게 한다.
• K-폴드 교차검증에서 각 폴드에 대해 훈련 폴드에서 모델을 훈련하고 검증 폴드에서 평가하며, 손실을 폴드 간 집계한다.
• 사슬의 법칙(chain rule)을 사용하여 교차검증 손실의 기울기를 계산하고, 학습 알고리즘의 최적 해를 통해 기울기를 전파한다.
• 로지스틱 회귀, 엘라스틱넷, 서포트 벡터 머신 등 최적 해가 초모수에 대해 미분 가능한 모델에 적용된다.
• 신경망 커널을 미분 가능한 특징 변환으로 사용하며, 그 파라미터는 CVGM을 통해 최적화되어 일반화 성능을 향상시킨다.
• 파이토치(PyTorch)와 같은 딥러닝 프레임워크와 통합하기 위해 로지스틱 회귀 레이어를 미분 가능한 모듈로 구현함으로써 전체 파ip라인을 통한 역전파를 가능하게 한다.

실험 결과

연구 질문

• RQ1 일반적인 볼록 기계학습 모델에서 초모수에 대해 교차검증 손실을 미분 가능하게 만들 수 있는가?
• RQ2 기울기 기반 초모수 최적화가 낮은 데이터 환경에서 일반화 성능 향상에 효과적으로 적용될 수 있는가?
• RQ3 교차검증 기울기를 사용하여 엔드 투 엔드로 특징 공학을 학습시킬 수 있으며, 수동적 특징 설계를 대체할 수 있는가?
• RQ4 CVGM은 표준 초모수 튜닝 및 표준 신경망 학습에 비해 테스트 정확도와 데이터 부족에 대한 강건성 측면에서 어떻게 비교되는가?
• RQ5 기울기 하강법을 사용해 교차검증 손실에 대해 고차원 초모수 공간을 최적화할 경우 어떤 영향을 미치는가?

주요 결과

• 로지스틱 회귀, 엘라스틱넷, 서포트 벡터 머신 등 일반적인 볼록 모델에 대해 교차검증 손실이 초모수에 대해 미분 가능하며, 이는 기울기 기반 최적화를 가능하게 한다.
• CVGM은 60개 샘플 데이터셋에서 89.8%의 테스트 정확도를 기록했으며, 베이즈 최적 정확도 89.4%에 근접했다.
• 낮은 데이터 환경(8~200개 샘플)에서 CVGM은 표준 두 층 신경망과 순수한 로지스틱 회귀 모두를 능가했으며, 50개 미만 샘플일 경우 특히 두각을 나타냈다.
• 단지 20개의 훈련 샘플만으로도 322개의 초모수를 성공적으로 최적화하여 고차원 초모수 공간에서의 확장성을 입증했다.
• 신경망 커널은 약 10회 반복 후 데이터가 약간의 선형 분리 가능성이 있는 다양체를 학습했으며, 이로 인해 86.5%의 테스트 정확도를 달성했다.
• 과적합을 줄이기 위해 최적화를 조기에 중단(100단계)한 결과, 전체 수렴이 이루어지면 일반화 성능이 떨어지는 낮은 데이터 설정에서 효과적이었다.