[论文解读] Multimodal Model-Agnostic Meta-Learning via Task-Aware Modulation

Risto Vuorio, Shaohua Sun+2 more|arXiv (Cornell University)|Oct 30, 2019

Domain Adaptation and Few-Shot Learning被引用 72

一句话总结

MMAML 通过一个调制网络扩展 MAML，能够在多模态任务分布中识别任务模式并对元学习先验进行调制，从而在回归、分类和强化学习中的快速适应。

ABSTRACT

Model-agnostic meta-learners aim to acquire meta-learned parameters from similar tasks to adapt to novel tasks from the same distribution with few gradient updates. With the flexibility in the choice of models, those frameworks demonstrate appealing performance on a variety of domains such as few-shot image classification and reinforcement learning. However, one important limitation of such frameworks is that they seek a common initialization shared across the entire task distribution, substantially limiting the diversity of the task distributions that they are able to learn from. In this paper, we augment MAML with the capability to identify the mode of tasks sampled from a multimodal task distribution and adapt quickly through gradient updates. Specifically, we propose a multimodal MAML (MMAML) framework, which is able to modulate its meta-learned prior parameters according to the identified mode, allowing more efficient fast adaptation. We evaluate the proposed model on a diverse set of few-shot learning tasks, including regression, image classification, and reinforcement learning. The results not only demonstrate the effectiveness of our model in modulating the meta-learned prior in response to the characteristics of tasks but also show that training on a multimodal distribution can produce an improvement over unimodal training.

研究动机与目标

• 识别在多模态任务分布下标准模型无关元学习器单一初始化的局限性。
• 提出 Multimodal Model-Agnostic Meta-Learning (MMAML) 来识别任务模式并调制元学习的先验。
• 通过调制后的梯度更新实现对新任务的快速适应。
• 证明通过多模态训练在回归、图像分类和强化学习等任务中的泛化收益。

提出的方法

• 一个调制网络通过少数 (K) 个任务示例来产生一个任务嵌入 v。
• 对于每个网络块 i，任务特定参数 tau_i 被生成为 tau_i = g_i(v; ω_g)。
• 通过 phi_i = θ_i ⊙ tau_i 来调制任务网络的每个块（如 FiLM 或基于注意力的调制）。
• 使用调制后的初始化通过少量梯度步来适应目标任务，在适应期间保持 tau_i 固定。
• 采用元训练过程对元学习者参数 θ 和调制网络参数 (ω_h, ω_g) 进行优化，如 Algorithm 1 所示。
• 评估多模态任务适应性的领域包括回归、图像分类和强化学习。

实验结果

研究问题

• RQ1 MMAML 是否能够从少-shot 任务数据中识别任务模式并相应地调制元学习先验？
• RQ2 在多模态任务分布上训练是否比在单模态或单一初始化的元学习器在回归、分类和 RL 上具有更好的泛化？
• RQ3 基于 FiLM 的调制与基于 softmax 的注意力在调制网络参数方面的表现有何差异？
• RQ4 在不同模式或数据集上，MMAML 对快速适应性能相对于 MAML 和 Multi-MAML 的影响如何？

主要发现

• 使用 FiLM 调制的 MMAML 在多模态回归和图像分类基准测试中优于标准 MAML，并在与 Multi-MAML 的对比中取得具竞争力的结果。
• 调制网络学到的任务嵌入按任务模式聚类，表明模式识别取得成功。
• FiLM 调制在所研究的领域中比 softmax 注意力提供更稳定和更优的性能。
• MMAML 受益于多模态训练，在若干任务中比单模态训练的基线具有更好的泛化。
• 在强化学习中，MMAML 持续优于未调制的 ProMP 基线，且随着任务模式数量增加，性能提升。