[论文解读] Automated Relational Meta-learning

Huaxiu Yao, Xian Wu+5 more|arXiv (Cornell University)|Jan 3, 2020

Domain Adaptation and Few-Shot Learning参考文献 30被引用 22

一句话总结

本文提出自动化关系元学习（ARML），一种从历史任务自动构建元知识图谱的框架，以捕捉跨任务关系，实现新任务的个性化知识迁移。通过利用基于原型的关系图与动态学习的元知识图谱，ARML在少样本图像分类和2D回归基准上实现了最先进性能，显著提升了现有方法的泛化能力与可解释性。

ABSTRACT

In order to efficiently learn with small amount of data on new tasks, meta-learning transfers knowledge learned from previous tasks to the new ones. However, a critical challenge in meta-learning is the task heterogeneity which cannot be well handled by traditional globally shared meta-learning methods. In addition, current task-specific meta-learning methods may either suffer from hand-crafted structure design or lack the capability to capture complex relations between tasks. In this paper, motivated by the way of knowledge organization in knowledge bases, we propose an automated relational meta-learning (ARML) framework that automatically extracts the cross-task relations and constructs the meta-knowledge graph. When a new task arrives, it can quickly find the most relevant structure and tailor the learned structure knowledge to the meta-learner. As a result, the proposed framework not only addresses the challenge of task heterogeneity by a learned meta-knowledge graph, but also increases the model interpretability. We conduct extensive experiments on 2D toy regression and few-shot image classification and the results demonstrate the superiority of ARML over state-of-the-art baselines.

研究动机与目标

• 为解决元学习中的任务异质性问题，即全局共享的元学习器因任务间分布差异而失效。
• 克服特定任务元学习方法中手工设计或刚性任务结构的局限性。
• 通过学习并利用任务间显式的关联结构，提升模型可解释性。
• 通过从结构化的元知识图谱中动态检索相关知识，提升少样本学习的有效性。
• 利用学习到的跨任务关系，实现元学习器对新任务的高效适应。

提出的方法

• ARML在元训练过程中通过汇总元训练任务中的原型关系图，构建元知识图谱。
• 元知识图谱中的每个顶点代表一种元知识类型，例如共享视觉模式（如鸟类与飞机轮廓的相似性）或纹理。
• 在每个任务中按类别构建基于原型的关系图，以捕捉类内关系并减少异常值带来的噪声。
• 通过图注意力机制学习元知识图谱，聚合并总结来自多个特定任务图谱的信息。
• 在推理阶段，新任务的原型图会查询元知识图谱，以识别并关注最相关的顶点以实现知识注入。
• 该框架采用可微分图注意力机制，支持端到端训练与动态知识路由。

实验结果

研究问题

• RQ1 元学习框架能否自动发现并利用任务之间的复杂、非层次化关系？
• RQ2 与全局共享或手工设计的结构相比，自动构建的元知识图谱在少样本学习性能上表现如何提升？
• RQ3 元知识图谱在多大程度上增强了元学习中的模型可解释性？
• RQ4 当任务位于不同数据分布时，ARML如何处理任务异质性？
• RQ5 图结构质量与顶点语义对下游少样本分类准确率有何影响？

主要发现

• 在5类1样本的Omniglot基准上，ARML达到47.92%的准确率，优于次佳方法HSML的2.24个百分点。
• 在5类5样本的mini-ImageNet基准上，ARML达到61.78%的准确率，超过最先进方法HSML 0.95个百分点。
• 元知识图谱捕捉了有意义的语义关系：V1代表鸟类与飞机形状的相似性，V2捕捉主要纹理模式，V7对应模糊滤波图像。
• 图结构高度可解释，V2作为中心枢纽连接大多数其他顶点，表明其在泛化纹理特征中的关键作用。
• ARML在多种数据分布下表现出鲁棒性，在2D回归与少样本图像分类任务中均保持一致性能提升。
• 消融实验表明，元知识图谱显著提升性能，当图谱被移除或简化时性能明显下降。