[論文レビュー] Task Prototype-Based Knowledge Retrieval for Multi-Task Learning from Partially Annotated Data

Youngmin Oh, Hyung-Il Kim+1 more|arXiv (Cornell University)|Jan 12, 2026

Domain Adaptation and Few-Shot Learning被引用数 0

ひとこと要約

この論文は、部分的に注釈されたデータからの堅牢なマルチタスク学習を可能にするタスクプロトタイプと知識取得変換器を提案し、未ラベルタスク予測に依存することなく、従来のMTPSL法より性能を向上させる。

ABSTRACT

Multi-task learning (MTL) is critical in real-world applications such as autonomous driving and robotics, enabling simultaneous handling of diverse tasks. However, obtaining fully annotated data for all tasks is impractical due to labeling costs. Existing methods for partially labeled MTL typically rely on predictions from unlabeled tasks, making it difficult to establish reliable task associations and potentially leading to negative transfer and suboptimal performance. To address these issues, we propose a prototype-based knowledge retrieval framework that achieves robust MTL instead of relying on predictions from unlabeled tasks. Our framework consists of two key components: (1) a task prototype embedding task-specific characteristics and quantifying task associations, and (2) a knowledge retrieval transformer that adaptively refines feature representations based on these associations. To achieve this, we introduce an association knowledge generating (AKG) loss to ensure the task prototype consistently captures task-specific characteristics. Extensive experiments demonstrate the effectiveness of our framework, highlighting its potential for robust multi-task learning, even when only a subset of tasks is annotated.

研究の動機と目的

• 完全な注釈が現実的でない場合の堅牢なマルチタスク学習を動機づける。
• 偽ラベルではなく、タスク固有の特徴を介してタスク間の関係をモデル化する。
• タスク固有の特徴を埋め込み、タスクの関連性を定量化するタスクプロトタイプを開発する。
• タスク親和性を用いてタスク表現を適応的に強化する知識取得変換器を設計する。

提案手法

• タスク固有の特徴を埋め込み、タスク親和性スコアを計算するためのTスロットを持つタスクプロトタイプを導入する。
• プロトタイプとタスク親和性を整合させ、タスク整合性を保証するためのアソシエーション知識生成（AKG）損失を定義する（L_tkeとL_tc）。
• コードブックを用いたベクトル量子化された共有表現を使用してクロス-タスク共有を強化する（L_tae）。
• 投影されたタスク特徴とプロトタイプスロット間の類似度をソフトマックスしてタスク親和性A(f^t,V)を計算する。
• f^taを用いてターゲットタスク特徴とのクロスアテンションを行い、タスク参照表現f^trを生成する知識取得変換器を組み込む。
• 総損失L_Total = L_MTL + lambda1 L_tae + lambda2 L_akgとしてエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 部分的に注釈されたMTFLシナリオにおいて、ラベルなしタスクの予測に頼らずにタスク間の関係をどう捉えることができるか？
• RQ2 タスクプロトタイプはタスク固有の特徴を効果的に符号化し、タスク間の適応的知識伝達を導くことができるか？
• RQ3 プロトタイプベースの知識取得は、部分監視の下で多様な密集予測タスクの性能を向上させるか？

主な発見

• 提案フレームワークは、ラベルなしタスクの予測に依存せず、堅牢なマルチタスク学習を実現する。
• PASCAL-ContextおよびNYUD-v2において、one-labelおよびrandom-label設定で最先端のMTPSL法を一貫して上回る。
• アブレーション研究により、ベクトル量子化、AKG損失、TC損失を順次追加することで性能が向上することを示す。
• 本手法はバックボーン（ResNet-18およびResNet-50）間で強い一般化性を示し、部分注釈下でも有効性を維持する。