[논문 리뷰] Leave Zero Out: Towards a No-Cross-Validation Approach for Model Selection

Weikai Li, Chuanxing Geng외 1명|arXiv (Cornell University)|2020. 12. 24.

Machine Learning and Algorithms참고 문헌 69인용 수 9

한 줄 요약

이 논문은 데이터 할당을 제거하고 데이터 증강을 통해 저비용이면서 이론적으로 타당한 검증 세트를 생성함으로써, 데이터 할당이 없는 새로운 모델 선택 방법인 Leave-Zero-Out (LZO)을 제안한다. 기존의 교차 검증과 달리 LZO는 전체 데이터셋에 대해 모델을 단 한 번만 훈련함으로써, 특히 소규모 및 준지도 학습 데이터셋에서 매우 낮은 계산 비용으로 기존의 교차 검증과 비슷하거나 더 높은 정확도를 달성한다.

ABSTRACT

As the main workhorse for model selection, Cross Validation (CV) has achieved an empirical success due to its simplicity and intuitiveness. However, despite its ubiquitous role, CV often falls into the following notorious dilemmas. On the one hand, for small data cases, CV suffers a conservatively biased estimation, since some part of the limited data has to hold out for validation. On the other hand, for large data cases, CV tends to be extremely cumbersome, e.g., intolerant time-consuming, due to the repeated training procedures. Naturally, a straightforward ambition for CV is to validate the models with far less computational cost, while making full use of the entire given data-set for training. Thus, instead of holding out the given data, a cheap and theoretically guaranteed auxiliary/augmented validation is derived strategically in this paper. Such an embarrassingly simple strategy only needs to train models on the entire given data-set once, making the model-selection considerably efficient. In addition, the proposed validation approach is suitable for a wide range of learning settings due to the independence of both augmentation and out-of-sample estimation on learning process. In the end, we demonstrate the accuracy and computational benefits of our proposed method by extensive evaluation on multiple data-sets, models and tasks.

연구 동기 및 목표

• 소규모 및 대규모 데이터 환경에서 기존 교차 검증의 계산 비효율성과 편향 문제를 해결한다.
• 학습 및 평가를 동일한 데이터에서 수행함으로써 과적합에 취약한 모델에 특화된 근사 교차 검증 방법의 한계를 극복한다.
• 데이터 할당을 피하면서도 모든 훈련 데이터를 최대한 활용하고, 보편적으로 적용 가능하고 효율적이며 이론적으로 타당한 검증 전략을 개발한다.
• 제한된 레이블 데이터를 가진 준지도 학습과 같은 도전적인 환경에서 효과적인 모델 선택을 가능하게 한다.
• 반복적인 모델 재학습이 필요 없이 일반화 오차의 이론적 경계를 제공하는 추정을 한다.

제안 방법

• 원본 훈련 데이터에서 데이터 증강을 통해 보조 검증 세트를 구성함으로써, 어떤 데이터 할당도 피한다.
• 진짜 위험과 증강된 검증 위험 간의 추정 편향을 이론적으로 경계하기 위해 Jansen-Shannon (JS) 발산을 사용한다.
• 원본 및 증강된 데이터 분포 간의 JS 발산과 검증 세트의 표본 크기에 따라 일반화 오차 추정 오차의 상한을 유도한다.
• 최종 모델을 증강된 데이터에서 직접 평가하여 검증 추정이 가장 편향이 적도록 보장한다. 이는 검증 성능이 검증 데이터에 대해 외부 샘플 성능을 모방함으로써 가능하다.
• 증강과 학습 간의 독립성을 활용하여, 다양한 학습 모델과 환경에 적용 가능한 방법이 된다.
• 표준 교차 검증에서 흔히 볼 수 있는 반복적인 모델 재학습이 필요 없이, 단일 훈련 프로세스로 적용된다.

실험 결과

연구 질문

• RQ1 데이터 할당을 피하면서도 기존 교차 검증과 비교해 추정 정확도를 유지하거나 향상시킬 수 있는 모델 선택 방법을 개발할 수 있는가?
• RQ2 모든 가용 훈련 데이터를 완전히 활용하면서도 계산 비용이 효율적인 모델 선택 전략을 구현할 수 있는가?
• RQ3 데이터 분할 대신 데이터 증강을 활용해 이론적으로 경계된 검증 추정을 도출할 수 있는가?
• RQ4 다양한 학습 환경에서 기존 교차 검증과 비교해 정확도와 효율성 측면에서 제안된 방법의 성능은 어떠한가?
• RQ5 이 방법은 저데이터 또는 준지도 학습 환경에서 특별한 이점을 제공하는가?

주요 결과

• LZO는 20개의 지도 학습 데이터셋에서 기존 교차 검증과 비슷하거나 더 높은 정확도를 달성하면서도 계산 비용을 크게 줄였다.
• 6개의 준지도 학습 데이터셋에서 LZO는 교차 검증보다 뚜렷한 정확도 향상을 보였으며, 이는 저데이터 환경에서의 장점을 입증한다.
• 이 방법은 전체 데이터셋에 대해 단 한 번의 모델 훈련만으로도 작동하므로, 표준 교차 검증보다 수개의 주기 빠르게 작동한다.
• 이론적 분석 결과, 추정 오차는 원본 및 증강된 데이터 분포 간의 JS 발산에 의해 경계됨을 보여주며, 이는 원칙적인 타당성을 제공한다.
• 학습 알고리즘에 종속되지 않기 때문에, 다양한 모델 유형과 학습 환경에 보편적으로 적용 가능하다.
• LZO의 코드는 GitHub에 공개되어 재현성 보장과 향후 연구에서의 활용을 촉진한다.