[论文解读] Task Prototype-Based Knowledge Retrieval for Multi-Task Learning from Partially Annotated Data

Youngmin Oh, Hyung-Il Kim+1 more|arXiv (Cornell University)|Jan 12, 2026

Domain Adaptation and Few-Shot Learning被引用 0

一句话总结

该论文提出一个任务原型和一个知识检索变换器，以在部分标注数据中实现鲁棒多任务学习，而不依赖未标注任务的预测，在性能上优于现有的 MTPSL 方法。

ABSTRACT

Multi-task learning (MTL) is critical in real-world applications such as autonomous driving and robotics, enabling simultaneous handling of diverse tasks. However, obtaining fully annotated data for all tasks is impractical due to labeling costs. Existing methods for partially labeled MTL typically rely on predictions from unlabeled tasks, making it difficult to establish reliable task associations and potentially leading to negative transfer and suboptimal performance. To address these issues, we propose a prototype-based knowledge retrieval framework that achieves robust MTL instead of relying on predictions from unlabeled tasks. Our framework consists of two key components: (1) a task prototype embedding task-specific characteristics and quantifying task associations, and (2) a knowledge retrieval transformer that adaptively refines feature representations based on these associations. To achieve this, we introduce an association knowledge generating (AKG) loss to ensure the task prototype consistently captures task-specific characteristics. Extensive experiments demonstrate the effectiveness of our framework, highlighting its potential for robust multi-task learning, even when only a subset of tasks is annotated.

研究动机与目标

• 在全面标注不可行时，激发鲁棒的多任务学习动机。
• 通过任务固有特征而非伪标签来建模任务间关系。
• 开发一个任务原型以嵌入任务特征并量化任务关联。
• 设计一个知识检索变换器，利用任务相似性自适应增强任务表示。

提出的方法

• 引入一个具有 T 个槽位的任务原型，以嵌入任务特征并计算任务相似度分数。
• 定义关联知识生成（AKG）损失，将原型与任务相似性（L_tke）对齐并确保任务一致性（L_tc）。
• 使用带有码本的向量量化共享表示以提升跨任务共享（L_tae）。
• 通过对投影后的任务特征与原型槽位之间的相似性进行 softmax 来计算任务亲和力 A(f^t,V)。
• 引入一个使用 f^ta 进行跨注意力以对目标任务特征进行知识检索的检索变换器，以生成更优的任务表示 f^tr。
• 端到端训练，总损失为 L_Total = L_MTL + lambda1 L_tae + lambda2 L_akg。

实验结果

研究问题

• RQ1 在部分标注的 MTFL 场景中，如何在不依赖未标注任务预测的情况下捕捉任务间关系？
• RQ2 任务原型是否能有效编码任务特征并指导跨任务的自适应知识传递？
• RQ3 原型基知识检索在部分监督下是否能提升多样密集预测任务的性能？

主要发现

• 所提出的框架在不依赖未标注任务预测的情况下实现鲁棒的多任务学习。
• 在 PASCAL-Context 和 NYUD-v2 的一标签与随机标签设置下，持续优于最先进的 MTPSL 方法。
• 消融研究表明，加入向量量化、AKG 损失和 TC 损失可逐步提升性能。
• 在不同骨干网络（ResNet-18 和 ResNet-50）上显示出较强的泛化能力，在部分标注条件下仍保持有效性。