[논문 리뷰] Task Prototype-Based Knowledge Retrieval for Multi-Task Learning from Partially Annotated Data

Youngmin Oh, Hyung-Il Kim외 1명|arXiv (Cornell University)|2026. 01. 12.

Domain Adaptation and Few-Shot Learning인용 수 0

한 줄 요약

본 논문은 부분적으로 주석이 달린 데이터에서 unlabeled-task 예측에 의존하지 않고 강건한 다중태스크 학습을 가능하게 하는 태스크 프로토타입과 지식 검색 변환기를 도입하여 이전 MTPSL 방법들보다 성능이 향상되었다.

ABSTRACT

Multi-task learning (MTL) is critical in real-world applications such as autonomous driving and robotics, enabling simultaneous handling of diverse tasks. However, obtaining fully annotated data for all tasks is impractical due to labeling costs. Existing methods for partially labeled MTL typically rely on predictions from unlabeled tasks, making it difficult to establish reliable task associations and potentially leading to negative transfer and suboptimal performance. To address these issues, we propose a prototype-based knowledge retrieval framework that achieves robust MTL instead of relying on predictions from unlabeled tasks. Our framework consists of two key components: (1) a task prototype embedding task-specific characteristics and quantifying task associations, and (2) a knowledge retrieval transformer that adaptively refines feature representations based on these associations. To achieve this, we introduce an association knowledge generating (AKG) loss to ensure the task prototype consistently captures task-specific characteristics. Extensive experiments demonstrate the effectiveness of our framework, highlighting its potential for robust multi-task learning, even when only a subset of tasks is annotated.

연구 동기 및 목표

• 전체 주석이 실용적으로 불가능할 때 강건한 다중태스크 학습의 동기를 부여한다.
• 의사 레이블이 아니라 태스크 고유 특성에 의해 태스크 간 관계를 모델링한다.
• 태스크 특성들을 내재화하고 태스크 간 연관성을 정량화하기 위한 태스크 프로토타입을 개발한다.
• 태스크 친화도를 사용하여 태스크 표현을 적응적으로 향상시키는 지식 검색 변환기를 설계한다.

제안 방법

• 태스크 특성들을 내재화하기 위해 T 슬롯을 가진 태스크 프로토타입을 도입하고 태스크 친화도 점수를 계산한다.
• 태스크 친화도와 맞추는 연관 지식 생성(AKG) 손실(L_tke)과 태스크 일관성(L_tc)을 보장한다.
• 코드북을 갖는 벡터 양자화된 공유 표현을 사용하여 교차 태스크 공유를 강화하는(L_tae)
• 프로젝션된 태스크 특징과 프로토타입 슬롯 간의 유사도에 대해 softmax를 취해 태스크 친화도 A(f^t,V)를 계산한다.
• 목표 태스크 특징과의 교차 어텐션을 수행하기 위해 f^ta를 이용하는 지식 검색 변환기를 도입하여 태스크 정제 표현 f^tr을 생성한다.
• 총 손실 L_Total = L_MTL + lambda1 L_tae + lambda2 L_akg 로 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 부분적으로 주석된 MTFL 시나리오에서 unlabeled-task 예측에 의존하지 않고 태스크 간 관계를 어떻게 포착할 수 있는가?
• RQ2 태스크 프로토타입이 태스크 고유 특성을 효과적으로 인코딩하고 태스크 간 적응적 지식 전달을 안내할 수 있는가?
• RQ3 부분 감독하에서 다양한 밀도 예측(dense prediction) 작업에서 프로토타입 기반 지식 검색이 성능을 향상시키는가?

주요 결과

• 제안된 프레임워크는 unlabeled 태스크의 예측에 의존하지 않고도 강건한 다중태스크 학습을 달성한다.
• PASCAL-Context 및 NYUD-v2에서 one-label 및 random-label 설정 하에 일관되게 최첨단 MTPSL 방법을 능가한다.
• 소거 연구에서 벡터 양자화, AKG 손실, TC 손실을 추가하면 점진적으로 성능이 향상된다는 것을 보인다.
• 해당 방법은 백본(ResNet-18 및 ResNet-50) 간에 강력한 일반화 성능을 보여주고 부분 주석 하에서도 효과를 유지한다.