[论文解读] Chameleon: Learning Model Initializations Across Tasks With Different Schemas

Lukas Brinkmeyer, Rafael Rêgo Drumond+3 more|arXiv (Cornell University)|Sep 30, 2019

Machine Learning and Data Classification参考文献 41被引用 5

一句话总结

Chameleon 提出了一种新颖的元学习框架，通过学习特定于任务的重排矩阵，将不同特征模式的输入表示对齐到共享的统一特征空间中，从而实现在不同特征模式的任务之间进行模型初始化。该方法在 23 个 OpenML-CC18 数据集上实现了少样本分类的最先进性能，标志着首个实现异构结构化数据少样本跨数据集学习的方法。

ABSTRACT

Parametric models, and particularly neural networks, require weight initialization as a starting point for gradient-based optimization. Recent work shows that a specific initial parameter set can be learned from a population of supervised learning tasks. Using this initial parameter set enables a fast convergence for unseen classes even when only a handful of instances is available (model-agnostic meta-learning). Currently, methods for learning model initializations are limited to a population of tasks sharing the same schema, i.e., the same number, order, type, and semantics of predictor and target variables. In this paper, we address the problem of meta-learning parameter initialization across tasks with different schemas, i.e., if the number of predictors varies across tasks, while they still share some variables. We propose Chameleon, a model that learns to align different predictor schemas to a common representation. In experiments on 23 datasets of the OpenML-CC18 benchmark, we show that Chameleon can successfully learn parameter initializations across tasks with different schemas, presenting, to the best of our knowledge, the first cross-dataset few-shot classification approach for unstructured data.

研究动机与目标

• 解决现有元学习方法要求所有任务共享相同输入模式（即相同数量、顺序和特征类型）的局限性。
• 实现对特征模式各异的非结构化表格数据的少样本分类元学习。
• 开发一种能够将不同任务的输入对齐到共同表示空间的模型，同时保持任务间特征的语义一致性。
• 证明单一元学习初始化可在共享部分变量但特征模式不一致的多样化数据集上实现泛化。
• 将基于优化的元学习（如 Reptile）的应用范围扩展至异质数据分布，超越图像等固定形状输入的限制。

提出的方法

• 提出 Chameleon，一种集合式特征变换模型，可学习将具有不同模式的输入映射到固定且共享的输入空间。
• 引入特定于任务的重排矩阵，通过置换输入特征以对齐到一个标准模式，实现对输入顺序的不变性。
• 使用神经网络基于输入任务的特征分布和语义信息预测重排矩阵。
• 使用对比损失进行模型训练，以确保来自不同任务中相同类型或分布的特征在共享空间中被映射到相同位置。
• 在对齐后的表示上应用标准元学习算法（如 Reptile），以学习可泛化的模型初始化。
• 支持表格数据以及来自不同神经网络的潜在嵌入，实现即使在视觉任务中也能进行模式不变的对齐。

实验结果

研究问题

• RQ1 元学习框架能否在具有不同特征模式的任务之间学习到稳健的模型初始化？
• RQ2 是否可能将来自不同任务的多样化输入表示对齐到一个共同的特征空间，同时保持语义一致性？
• RQ3 所提出的对齐机制是否能在异质表格数据集上实现最先进水平的少样本分类性能？
• RQ4 Chameleon 是否能泛化到不同模型生成的潜在表示，即使原始数据并非表格形式？
• RQ5 Chameleon 在具有不同输入模式的数据集上的性能与标准元学习基线相比如何？

主要发现

• Chameleon 在 OpenML-CC18 基准的 23 个数据集上实现了少样本分类的最先进性能，在特征模式不一致的任务上优于标准元学习基线。
• 当在多样化且特征模式不一致的数据集上进行训练时，该方法在糖尿病和心脏病分类等任务上显著提升了少样本准确率。
• 在 vowel 和 wdbc 数据集上，Chameleon 使用学习到的编码分别实现了 0.993 ± 0.010 和 0.937 ± 0.004 的准确率，优于随机和冻结编码器基线。
• 该模型在零样本迁移中表现出鲁棒性：在新少样本任务上微调后，pendigits 数据集上的准确率达到 0.635 ± 0.017，优于所有基线。
• 即使应用于来自不同图像网络的潜在嵌入，Chameleon 仍能成功对齐表示，表明其泛化能力超越了表格数据。
• 消融研究证实，学习到的重排矩阵至关重要：使用冻结或随机编码器在所有数据集上均导致性能显著下降。