[论文解读] Bayesian Multitask Learning with Latent Hierarchies

Hal Daumé|arXiv (Cornell University)|Aug 9, 2014

Domain Adaptation and Few-Shot Learning参考文献 18被引用 85

一句话总结

本文提出了一种贝叶斯多任务学习框架，通过建模任务之间的潜在分层关系来提升泛化能力。通过在任务间联合共享分类器结构和协方差结构，该方法涵盖了先前的模型，并在三个真实世界数据集上实现了最先进性能，通过结构化的归纳偏置显著提升了预测准确性和鲁棒性。

ABSTRACT

We learn multiple hypotheses for related tasks under a latent hierarchical relationship between tasks. We exploit the intuition that for domain adaptation, we wish to share classifier structure, but for multitask learning, we wish to share covariance structure. Our hierarchical model is seen to subsume several previously proposed multitask learning models and performs well on three distinct real-world data sets.

研究动机与目标

• 开发一个统一的贝叶斯多任务学习框架，以捕捉相关任务之间的复杂关系。
• 在分层贝叶斯公式中建模共享的分类器结构和共享的协方差结构。
• 通过结构化的归纳偏置，提升相关学习任务的泛化能力和预测性能。
• 通过在任务上引入潜在层次结构，涵盖并扩展现有的多任务学习模型。
• 在多样化的现实世界数据集上验证该方法，展示其鲁棒性和性能提升。

提出的方法

• 该模型在任务特定参数上采用分层贝叶斯先验，更高层级的超先验控制共享结构。
• 通过共轭先验结构联合学习任务特定分类器和共享协方差矩阵，实现可处理的推断。
• 通过任务上的树状先验表示潜在层次结构，实现信息的灵活共享。
• 该方法使用变分推断来近似模型参数的后验分布，从而实现可扩展的学习。
• 该框架可通过学习到的层次结构自动发现任务关系。
• 通过共享函数和结构先验，将领域自适应与多任务学习目标相结合。

实验结果

研究问题

• RQ1 如何在贝叶斯多任务学习框架中建模相关任务之间复杂且结构化的关联关系？
• RQ2 一个同时共享分类器结构和协方差结构的统一模型是否能超越现有的多任务学习方法？
• RQ3 潜在分层结构在多大程度上能提升多样任务上的泛化能力和预测性能？
• RQ4 与先前的多任务学习模型相比，该方法在准确性和鲁棒性方面表现如何？
• RQ5 该模型能否在无需显式监督的情况下，自动从数据中发现有意义的任务关系？

主要发现

• 所提出的模型在三个不同的真实世界数据集上实现了最先进性能，优于现有的多任务学习基线模型。
• 分层结构实现了相关任务间知识的有效迁移，从而提升了泛化能力。
• 该模型涵盖了并推广了若干先前提出的多任务学习模型，展示了更广泛的应用潜力。
• 联合建模分类器结构和协方差结构，相比仅共享单一结构的模型，能带来更鲁棒和准确的预测。
• 潜在层次结构使得无需事先了解任务相似性即可自动发现任务关系，从而提升性能。
• 实证结果表明，预测准确率持续提升，尤其在低数据场景下表现更优。