[논문 리뷰] How Important is the Train-Validation Split in Meta-Learning?

Yu Bai, Minshuo Chen외 6명|arXiv (Cornell University)|2020. 10. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 12

한 줄 요약

이 논문은 메타학습에서 훈련-검증 데이터 분할의 필요성을 조사한다. 특히 선형 중심점 메타학습에서 이론적·실험적으로, 모든 태스크 데이터를 적응과 평가에 모두 사용하는 train-train 방법이 표준 훈련-검증 분할 방법보다 더 우수한 성능을 보임을 보여주며, 이는 특히 실현 가능한(노이즈 없는) 설정에서 더 높은 데이터 효율성과 낮은 과잉 손실 덕분이다. 이는 정규화와 분할 비율을 최적화한 경우에도 마찬가지다.

ABSTRACT

Meta-learning aims to perform fast adaptation on a new task through learning a "prior" from multiple existing tasks. A common practice in meta-learning is to perform a train-validation split (\emph{train-val method}) where the prior adapts to the task on one split of the data, and the resulting predictor is evaluated on another split. Despite its prevalence, the importance of the train-validation split is not well understood either in theory or in practice, particularly in comparison to the more direct \emph{train-train method}, which uses all the per-task data for both training and evaluation. We provide a detailed theoretical study on whether and when the train-validation split is helpful in the linear centroid meta-learning problem. In the agnostic case, we show that the expected loss of the train-val method is minimized at the optimal prior for meta testing, and this is not the case for the train-train method in general without structural assumptions on the data. In contrast, in the realizable case where the data are generated from linear models, we show that both the train-val and train-train losses are minimized at the optimal prior in expectation. Further, perhaps surprisingly, our main result shows that the train-train method achieves a \emph{strictly better} excess loss in this realizable case, even when the regularization parameter and split ratio are optimally tuned for both methods. Our results highlight that sample splitting may not always be preferable, especially when the data is realizable by the model. We validate our theories by experimentally showing that the train-train method can indeed outperform the train-val method, on both simulations and real meta-learning tasks.

연구 동기 및 목표

• 메타학습에서 훈련-검증 분할이 이론적으로 최적인지 여부와 그 조건을 이해하는 것.
• 일반화 및 과잉 손실 측면에서 표준 분할 방법(train-val)과 전체 데이터 사용 방법(train-train)을 비교하는 것.
• 구조적 가정이 없는 일반적 설정과 실현 가능한 설정에서의 데이터 분포 가정이 샘플 분할 최적성에 미치는 영향을 조사하는 것.
• 이론적 결과를 시뮬레이션과 실제 소수의 샘플 학습 벤치마크를 통해 검증하는 것.

제안 방법

• 저자는 공통된 사전 분포를 태스크 간 공유하여 빠른 적응을 가능하게 하는 선형 중심점 메타학습 문제를 분석한다.
• 두 가지 방법을 비교한다: 훈련-검증 방법은 각 태스크 데이터를 훈련 및 검증 세트로 분할하고, train-train 방법은 모든 데이터를 적응과 평가에 모두 사용한다.
• 이론적 분석을 통해 일반적 설정과 실현 가능한 설정에서 최적 사전에서의 기대 손실을 유도한다.
• 학습 안정화를 위해 정규화를 사용하고, 정규화와 분할 비율을 최적화한 조건에서 과잉 손실을 비교한다.
• 실험은 노이즈 없는 선형 모델을 사용한 합성 데이터와 miniImageNet, tieredImageNet과 같은 실제 벤치마크를 활용해 소수의 샘플 분류 정확도를 평가한다.
• 4-겹, 이외의 교차 검증(leave-one-out) 변형을 테스트하여 변동성 감소 및 train-train 및 train-val 방법 대비 성능을 평가한다.

실험 결과

연구 질문

• RQ1 메타학습에서 최적의 일반화를 위해 훈련-검증 분할이 필수적인가?
• RQ2 실현 가능한 설정에서 train-train 방법과 train-val 방법의 과잉 손실 측면에서의 비교는 어떻게 되는가?
• RQ3 정규화와 분할 비율을 최적화한 경우, train-train 방법이 train-val 방법보다 더 높은 성능을 내는가?
• RQ4 교차 검증은 표준 train-val 방법을 능가할 수 있으며, train-train 방법을 초월할 수 있는가?
• RQ5 이외의 교차 검증에서 per-task 표본 크기가 train-train 방법 대비 성능에 미치는 영향은 무엇인가?

주요 결과

• 일반적 설정에서는 train-val 방법이 최적 사전에서 기대 손실을 최소화하지만, train-train 방법은 그렇지 않으며, 이는 비구조적 가정이 없이 train-train 방법의 근본적 한계를 보여준다.
• 실현 가능한 설정(노이즈 없는 선형 모델)에서는 train-val 및 train-train 방법 모두 최적 사전에서 기대 손실을 최소화하므로, 샘플 분할이 이론적으로 필수적인 것은 아님을 보여준다.
• 그럼에도 불구하고, 정규화와 분할 비율을 최적화한 경우 train-train 방법은 train-val 방법보다 엄밀히 낮은 과잉 손실을 기록하며, 이는 더 높은 데이터 효율성을 의미한다.
• miniImageNet 및 tieredImageNet에서의 실험 결과는 train-train 방법이 train-val 방법을 능가하며, 분할 비율에 따라 최대 1.5%의 정확도 향상을 기록한다.
• 교차 검증은 표준 train-val 방법을 능가하지만, 대부분의 설정에서 여전히 train-train 방법에 뒤지며, 높은 표본 크기 영역(n=200)에서는 소량의 성능 향상만 기록한다.
• 이외의 교차 검증은 특정 고표본 영역(n=200, d/n ≈ 1.2–1.6)에서 train-train 방법을 略로 뛰어넘지만, 높은 계산 비용을 수반한다.