[论文解读] A Unified Perspective on Multi-Domain and Multi-Task Learning

Yongxin Yang, Timothy M. Hospedales|arXiv (Cornell University)|Dec 23, 2014

Domain Adaptation and Few-Shot Learning参考文献 30被引用 92

一句话总结

本文通过引入多变量语义描述符来表示任务和领域，提出了一种统一的神经网络框架，用于多领域和多任务学习（MDL/MTL），实现了更优的知识共享。该方法在多任务学习（MTL）、多领域学习（MDL）、零样本学习（ZSL）中表现优于现有方法，并提出了一项新任务：零样本领域自适应（ZSDA），在AwA数据集上达到87.66%的准确率，在餐厅数据集上达到0.78的RMSE。

ABSTRACT

In this paper, we provide a new neural-network based perspective on multi-task learning (MTL) and multi-domain learning (MDL). By introducing the concept of a semantic descriptor, this framework unifies MDL and MTL as well as encompassing various classic and recent MTL/MDL algorithms by interpreting them as different ways of constructing semantic descriptors. Our interpretation provides an alternative pipeline for zero-shot learning (ZSL), where a model for a novel class can be constructed without training data. Moreover, it leads to a new and practically relevant problem setting of zero-shot domain adaptation (ZSDA), which is the analogous to ZSL but for novel domains: A model for an unseen domain can be generated by its semantic descriptor. Experiments across this range of problems demonstrate that our framework outperforms a variety of alternatives.

研究动机与目标

• 通过使用语义描述符，在单一神经网络框架下统一多领域与多任务学习。
• 通过利用多变量任务/领域元数据而非将任务/领域视为原子类别，提升知识共享能力。
• 通过基于语义描述符的模型合成，实现零样本学习（ZSL）。
• 提出并解决新颖的问题——零样本领域自适应（ZSDA），即仅通过其语义描述符生成未见领域的模型。
• 在MTL、MDL、ZSL和ZSDA基准上展示优越性能。

提出的方法

• 该框架使用多变量语义描述符表示任务和领域，实现超越类别索引的结构化信息共享。
• 将模型学习形式化为一个分解问题：W = LS，其中L表示共享的潜在预测器，S表示从语义描述符中推导出的任务/领域特定系数。
• 语义描述符通过连接离散变量（如领域ID和任务类型）形成任务/领域的分布式表示。
• 该方法在不同描述符结构假设下，可泛化为现有MTL算法（如GO-MTL、RMTL）的特例。
• 对于零样本学习，该框架仅使用语义描述符即可合成未见类别的分类器，无需训练数据。
• 对于零样本领域自适应（ZSDA），仅通过其语义描述符即可生成完全未见领域的模型，这是本工作的创新贡献。

实验结果

研究问题

• RQ1 能否通过利用语义描述符，将多领域与多任务学习统一于一个框架之下？
• RQ2 与基于原子类别索引的MTL/MDL方法相比，使用多变量语义描述符在知识共享方面有何改进？
• RQ3 该框架能否仅通过未见类别的语义描述符实现零样本学习（ZSL）？
• RQ4 零样本领域自适应（ZSDA）是否是一个可行且有意义的问题设置，能否通过语义描述符有效解决？
• RQ5 所提出的方法是否在多样化的基准上全面优于现有的MTL、MDL、ZSL和ZSDA基线？

主要发现

• 在AwA数据集上，所提方法在MTL中达到87.66%的多分类准确率，优于标准单任务学习（STL）的85.34%，以及现有MTL方法如MTFL（87.09%）和GO-MTL（86.20%）。
• 在零样本学习（ZSL）中，该方法达到43.79%的多分类准确率，显著优于使用DeCAF特征的DAP基线（41.03%）。
• 在餐厅与消费者数据集上，该方法达到0.78的测试RMSE，显著优于次优方法（GO-MTL为1.06）。
• 该框架成功实现了零样本领域自适应（ZSDA），仅通过语义描述符即可合成未见领域的模型，这是此前未被解决的新颖贡献。
• 该方法可泛化为现有MTL算法的特例，表明这些方法隐式假设了原子任务/领域索引，而本框架通过利用更丰富的元数据实现了更优性能。