[论文解读] learn2learn: A Library for Meta-Learning Research

Sébastien M. R. Arnold, Praateek Mahajan+3 more|arXiv (Cornell University)|Aug 27, 2020

Domain Adaptation and Few-Shot Learning参考文献 21被引用 37

一句话总结

learn2learn 是一个 Python 库，提供低层可微分优化原语、领域/原型工具，以及标准化基准，以提高元学习研究在少样本学习、元强化学习和元优化领域的原型设计和再现性。

ABSTRACT

Added New vision example: MAML++. (@Theo Morales) Add tutorial: "Demystifying Task Transforms", (Varad Pimpalkhute) Add <code>l2l.nn.MetaModule</code> and <code>l2l.nn.ParameterTransform</code> for parameter-efficient finetuning. Add <code>l2l.nn.freeze</code>and <code>l2l.nn.unfreeze</code>. Add Adapters and LoRA examples. Add TasksetSampler, compatible with PyTorch's Dataloaders. Changed Documentation: uses <code>mkdocstrings</code> instead of <code>pydoc-markdown</code>. Remove <code>text/news_topic_classification.py</code> example. Rename TaskDataset to Taskset. Fixed MAML Toy example. (@Theo Morales) Example for <code>detach_module</code>. (Nimish Sanghi) Loading duplicate FGVC Aircraft images. Move vision datasets to Zenodo. (mini-ImageNet, tiered-ImageNet, FC100, CIFAR-FS, CUB200) mini-ImageNet targets are now ints (not np.float64). Swap family for variants in FGVCAircraft, as in MetaDataset.

研究动机与目标

• 识别现代元学习研究中的原型设计和可重复性挑战。
• 引入一个统一、可扩展的库，以简化在元学习范式之间的实现。
• 提供低级和高级接口，促使标准化基准和可重复实验。

提出的方法

• 提供与 PyTorch 紧密集成的可微分优化原语，以实现可微分元学习更新。
• 提供 TaskDataset 和 TaskTransform 接口，以快速原型化少样本学习的新数据/任务方案。
• 提供基于低级原语、可重复基准的高级算法实现（如 Meta-SGD、Meta-Curvature、Meta-KFO）。
• 开发用于少样本学习和元强化学习的标准化基准 API，包括视觉数据集和 MetaWorld-类环境。
• 确保与 PyTorch 模块的兼容性以及用于数据处理的可选 Cython 加速。
• 发布开源、MIT 许可的软件，附带文档、教程和社区导向资源。

实验结果

研究问题

• RQ1 如何简化元学习研究以减少原型设计错误并提高可重复性？
• RQ2 统一的库是否能在少样本学习、元强化学习和元优化之间提供可靠、可比的实现？
• RQ3 标准化基准和现成实现在多大程度上促进元学习方法公平比较？

主要发现

• learn2learn 提供低级可微分优化原语，简化元学习算法的实现。
• 它提供 TaskDataset 和 TaskTransform 抽象，便于快速创建和迭代新的领域和任务。
• 高级实现（如 Meta-SGD、Meta-Curvature、Meta-KFO）已被标准化基准所封装，以重现实验。
• 该库包括标准化基准和元强化学习环境，以提高研究之间的可重复性。
• learn2learn 强调与 PyTorch 的兼容性、可扩展性和开源可用性，以促进社区采用。