[论文解读] A Representation Learning Perspective on the Importance of Train-Validation Splitting in Meta-Learning

Nikunj Saunshi, Arushi Gupta+1 more|arXiv (Cornell University)|Jun 29, 2021

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出，在元学习中，训练-验证集划分隐式地对表示进行正则化，使其具有低秩且富有表现力的特性，从而显著提升少样本学习的样本效率。通过理论分析与实验验证，表明 tr-val 划分可使 k 维任务子空间实现 O(k) 的样本复杂度，优于 tr-tr 划分，后者在无显式正则化时可能需要 Ω(d) 个样本。

ABSTRACT

An effective approach in meta-learning is to utilize multiple "train tasks" to learn a good initialization for model parameters that can help solve unseen "test tasks" with very few samples by fine-tuning from this initialization. Although successful in practice, theoretical understanding of such methods is limited. This work studies an important aspect of these methods: splitting the data from each task into train (support) and validation (query) sets during meta-training. Inspired by recent work (Raghu et al., 2020), we view such meta-learning methods through the lens of representation learning and argue that the train-validation split encourages the learned representation to be low-rank without compromising on expressivity, as opposed to the non-splitting variant that encourages high-rank representations. Since sample efficiency benefits from low-rankness, the splitting strategy will require very few samples to solve unseen test tasks. We present theoretical results that formalize this idea for linear representation learning on a subspace meta-learning instance, and experimentally verify this practical benefit of splitting in simulations and on standard meta-learning benchmarks.

研究动机与目标

• 理解为何训练-验证集划分在元学习中能超越经验成功，提升样本效率。
• 分析 tr-val 划分如何在无显式约束的情况下，隐式地对表示进行正则化，使其趋向于低秩结构。
• 从表示质量与样本复杂度的角度，对比 tr-val 与 tr-tr（训练-训练）划分的差异。
• 为 tr-val 在子空间任务上的线性表示学习中表现更优提供理论依据。
• 在模拟实验与 Omniglot 和 MiniImageNet 等基准数据集上，通过实验验证假设。

提出的方法

• 将元学习形式化为表示学习，其中外层循环优化表示函数，内层循环在固定表示上执行岭回归。
• 在 d 维输入空间中 k 维子空间定义的任务下，分析线性元学习设置中的 tr-val 目标。
• 证明最小化 tr-val 目标可保证学习到与真实 k 维子空间对齐的表示，实现 O(k) 的样本复杂度。
• 与 tr-tr 变体对比，表明其在无显式正则化时无法保证良好表示学习，可能导致 Ω(d) 的样本复杂度。
• 通过 RepLearn 和 iMAML 在 Omniglot 与 MiniImageNet 上进行实证验证，调整网络容量与正则化强度。
• 使用 t-SNE 与奇异值分析，可视化并比较 tr-val 与 tr-tr 模型的表示聚类与秩的差异。

实验结果

研究问题

• RQ1 元学习中的训练-验证集划分是否隐式地对表示进行正则化，使其具有低秩特性？
• RQ2 在少样本学习中，tr-val 划分与 tr-tr 划分在样本复杂度方面有何差异？
• RQ3 tr-val 划分是否可在无显式低秩约束下实现 O(k) 的样本复杂度？
• RQ4 为何 tr-tr 划分在无显式正则化时无法学习到良好表示？
• RQ5 tr-val 方法在模型容量与数据集选择变化下是否具有鲁棒性？

主要发现

• tr-val 目标可保证学习到与真实 k 维子空间对齐的富有表现力且低秩的表示，使新任务的样本复杂度达到 O(k)。
• 相比之下，tr-tr 目标在无显式正则化时无法保证良好表示学习，可能产生 Ω(d) 的样本复杂度。
• 在 Omniglot 5-way 1-shot 任务中，tr-val 在无正则化下达到 97.25% 的元测试准确率，而 tr-tr 降至 67.78%。
• 在显式 Frobenius 范数正则化下，tr-tr 性能有所提升，但仍逊于 tr-val，后者在不同 λ 值下保持 97.19–97.66% 的准确率。
• 在 MiniImageNet 上，tr-val 始终优于 tr-tr，在容量因子 ℓ=8 时准确率达到 52.25%，而 tr-tr 仅为 25.28%。
• t-SNE 可视化显示，tr-val 的表示聚类更紧密，表明其具有更好的类别分离性与更低的秩。