[论文解读] How Important is the Train-Validation Split in Meta-Learning?

Yu Bai, Minshuo Chen+6 more|arXiv (Cornell University)|Oct 12, 2020

Domain Adaptation and Few-Shot Learning参考文献 43被引用 12

一句话总结

本文研究了元学习中训练-验证划分的必要性，特别是在线性中心元学习设置下。理论与实证结果表明，与标准的训练-验证划分相比，完全使用每任务数据进行适应和评估的训练-训练方法（train-train method）在可实现（无噪声）设置下表现更优，即使正则化和划分比例已最优调整，其优势源于更高的数据效率和更低的过量损失。

ABSTRACT

Meta-learning aims to perform fast adaptation on a new task through learning a "prior" from multiple existing tasks. A common practice in meta-learning is to perform a train-validation split (\emph{train-val method}) where the prior adapts to the task on one split of the data, and the resulting predictor is evaluated on another split. Despite its prevalence, the importance of the train-validation split is not well understood either in theory or in practice, particularly in comparison to the more direct \emph{train-train method}, which uses all the per-task data for both training and evaluation. We provide a detailed theoretical study on whether and when the train-validation split is helpful in the linear centroid meta-learning problem. In the agnostic case, we show that the expected loss of the train-val method is minimized at the optimal prior for meta testing, and this is not the case for the train-train method in general without structural assumptions on the data. In contrast, in the realizable case where the data are generated from linear models, we show that both the train-val and train-train losses are minimized at the optimal prior in expectation. Further, perhaps surprisingly, our main result shows that the train-train method achieves a \emph{strictly better} excess loss in this realizable case, even when the regularization parameter and split ratio are optimally tuned for both methods. Our results highlight that sample splitting may not always be preferable, especially when the data is realizable by the model. We validate our theories by experimentally showing that the train-train method can indeed outperform the train-val method, on both simulations and real meta-learning tasks.

研究动机与目标

• 理解并确定在元学习中训练-验证划分是否在理论上最优。
• 从泛化能力和过量损失的角度，比较标准划分方法（train-val method）与全数据使用方法（train-train method）的性能。
• 研究数据分布假设（对抗性 vs. 可实现）对样本划分最优性的影。
• 通过模拟实验和真实世界少样本学习基准验证理论发现。

提出的方法

• 作者分析了线性中心元学习问题，其中通过跨任务学习共享先验，以实现快速适应。
• 比较两种方法：训练-验证方法（将每任务数据划分为训练集和验证集）与训练-训练方法（将所有数据同时用于适应和评估）。
• 理论分析在对抗性和可实现设置下推导了两种方法的期望损失，重点聚焦于在最优先验下的最小化。
• 研究采用正则化以稳定学习过程，并在正则化和划分比例最优调优下比较过量损失。
• 实验包括无噪声线性模型的合成数据，以及miniImageNet和tieredImageNet等真实基准，用于评估少样本分类准确率。
• 测试了多种交叉验证变体（4折、留一法），以评估方差减少效果及与训练-训练和训练-验证方法的性能对比。

实验结果

研究问题

• RQ1 在元学习中，训练-验证划分是否对最优泛化是必要的？
• RQ2 在可实现设置下，训练-训练方法与训练-验证方法在过量损失方面有何差异？
• RQ3 当两种方法均经过最优调优时，训练-训练方法是否优于训练-验证方法？
• RQ4 交叉验证能否优于标准的训练-验证方法，且是否能超越训练-训练方法？
• RQ5 每任务样本量在留一法交叉验证相对于训练-训练方法的性能中起到何种作用？

主要发现

• 在对抗性设置下，训练-验证方法在最优先验处实现期望损失最小化，而训练-训练方法则不能，这表明后者在缺乏结构假设时存在根本性局限。
• 在可实现设置下（无噪声线性模型），训练-验证方法与训练-训练方法均在最优先验处实现期望损失最小化，表明样本划分在理论上并非必需。
• 尽管如此，当正则化和划分比例经最优调优后，训练-训练方法的过量损失仍严格低于训练-验证方法，表明其具有更高的数据效率。
• 在miniImageNet和tieredImageNet上的实证结果表明，训练-训练方法优于训练-验证方法，准确率提升最高达1.5%，具体取决于划分比例。
• 交叉验证优于标准的训练-验证方法，但在大多数设置下仍逊于训练-训练方法，仅在高样本量场景（n=200）中获得微小提升。
• 在特定高样本量场景（n=200，d/n ≈ 1.2–1.6）下，留一法交叉验证略优于训练-训练方法，但计算成本极高。