[논문 리뷰] Relational Multi-Task Learning: Modeling Relations between Data and Tasks

Kaidi Cao, Jiaxuan You외 1명|arXiv (Cornell University)|2023. 03. 14.

Machine Learning in Bioinformatics인용 수 8

한 줄 요약

MetaLink는 데이터 포인트와 태스크 헤드를 통해 이질적 지식 그래프를 구축하고 보조 태스크의 라벨을 목표 태스크로 전이시키며, GNN을 이용해 관계형 다중 태스크 학습을 링크-레이블 예측으로 형식화합니다.

ABSTRACT

A key assumption in multi-task learning is that at the inference time the multi-task model only has access to a given data point but not to the data point's labels from other tasks. This presents an opportunity to extend multi-task learning to utilize data point's labels from other auxiliary tasks, and this way improves performance on the new task. Here we introduce a novel relational multi-task learning setting where we leverage data point labels from auxiliary tasks to make more accurate predictions on the new task. We develop MetaLink, where our key innovation is to build a knowledge graph that connects data points and tasks and thus allows us to leverage labels from auxiliary tasks. The knowledge graph consists of two types of nodes: (1) data nodes, where node features are data embeddings computed by the neural network, and (2) task nodes, with the last layer's weights for each task as node features. The edges in this knowledge graph capture data-task relationships, and the edge label captures the label of a data point on a particular task. Under MetaLink, we reformulate the new task as a link label prediction problem between a data node and a task node. The MetaLink framework provides flexibility to model knowledge transfer from auxiliary task labels to the task of interest. We evaluate MetaLink on 6 benchmark datasets in both biochemical and vision domains. Experiments demonstrate that MetaLink can successfully utilize the relations among different tasks, outperforming the state-of-the-art methods under the proposed relational multi-task learning setting, with up to 27% improvement in ROC AUC.

연구 동기 및 목표

• 테스트 시 데이터 포인트가 보조 태스크의 라벨과 함께 올 수 있는 경우를 포함하여 여러 태스크에서 학습의 동기를 제시한다.
• 추론 시에 보조 태스크 라벨을 활용하는 관계형 다중 태스크 설정을 제안한다.
• 지식 그래프를 통해 데이터-데이터, 데이터-태스크, 태스크-태스크 관계를 모델링하는 MetaLink를 소개한다.
• 새로운 태스크에서 데이터 포인트를 예측하는 문제를 그래프의 링크-레이블 예측으로 재정의한다.
• 생화학 및 비전 벤치마크에서 데이터 효율적 개선을 시연한다.

제안 방법

• 데이터 노드(임베딩 z^(i))와 태스크 노드(가중치 w_j)가 y_j^(i)로 라벨링된 간선으로 연결된 지식 그래프를 구성한다.
• 태스크 헤드를 데이터 임베딩과 함께 입력으로 재해석하여 f_phi(w_j, z^(i)) 예측을 가능하게 한다.
• 타입 인식 메시지와 엣지 피처를 사용하는 GraphConv 계층을 통해 데이터-태스크 그래프에서 이질적 GNN을 활용해 노드 임베딩 h_v^(l)을 생성한다.
• 메시지 전달에서 태스크 특유의 라벨을 포착하기 위해 엣지 레이블 y_v^(u)을 학습 가능한 엣지 피처로 도입한다.
• 다수의 GNN 계층을 축적하여 EdgePred( h_i^(L), h_j^(L) )를 통한 최종 예측을 구성한다.
• unseen 태스크에 대한 재레이블링 전략과 새로운 태스크 노드에 대한 귀납적 초기화를 포함한 Relational, Meta, Relational Meta 설정에 MetaLink를 적용한다.

Figure 1: In the relational multi-task setting, the model learns to incorporate auxiliary knowledge in making predictions to achieve data efficiency. Concretely, given observations $\mathbf{x}^{(i)}$ and their labels $\{y^{(i)}_{j}\}$ (0/1 in this example) on subsets of tasks $\{t_{j}\}$ , the goal

실험 결과

연구 질문

• RQ1 추론 시점에 이용 가능한 보조 태스크 라벨이 다중 태스크 설정에서 타깃 태스크의 예측을 개선할 수 있는가?
• RQ2 데이터 포인트와 태스크를 통합 그래프로 모델링하여 GNN이 데이터-태스크 관계를 활용해 성능을 개선할 수 있는가?
• RQ3 엣지 피처와 타입 인식 메시지 전달이 포함된 이질적 GNN이 교차 태스크 정보를 효과적으로 활용하는가?
• RQ4 Relational 및 meta-task 설정에서 unseen 태스크를 포함하여 생화학 및 비전 벤치마크에서 MetaLink의 성능은 어떠한가?
• RQ5 보조 태스크 라벨의 비율이 예측 이득에 어떤 영향을 미치는가?

주요 결과

방법	설정	Tox21 (12 태스크)	Sider (27 태스크)	ToxCast (617 태스크)
MPNN (Gilmer et al., 2017)	표준	80.8 ± 2.4	59.5 ± 3.0	69.1 ± 1.3
DMPNN (Yang et al., 2019)	표준	82.6 ± 2.3	63.2 ± 2.3	71.8 ± 1.1
MGCN (Lu et al., 2019)	표준	70.7 ± 1.6	55.2 ± 1.8	66.3 ± 0.9
AttentiveFP (Xiong et al., 2019)	표준	80.7 ± 2.0	60.5 ± 6.0	57.9 ± 1.0
GROVER(48M) (Rong et al., 2020)	표준	81.9 ± 2.0	65.6 ± 0.6	72.3 ± 1.0
GROVER(100M) (Rong et al., 2020)	표준	83.1 ± 2.5	65.8 ± 2.3	73.7 ± 1.0
MetaLink	관계형	83.7 ± 1.9	76.8 ± 3.0	79.4 ± 1.0
MetaLink	메타	77.5 ± 2.1	57.9 ± 5.0	71.3 ± 2.2
MetaLink	관계형 +메타	79.2 ± 2.9	65.4 ± 4.3	84.3 ± 1.2

• MetaLink은 관계형 다중 태스크 설정에서 생화학 및 비전 벤치마크에서 최첨단 Baselines보다 우수한 성능을 보이며 최대 27% ROC AUC 개선을 달성한다.
• Relational 및 Relational Meta 설정이 큰 이득을 주는 반면, 보조 라벨이 없을 때는 표준 설정에서 이득이 제한될 수 있다.
• Ablation은 태스크 간 상관관계가 더 높은 태스크에서 더 큰 개선을 보여주며 MetaLink가 의미 있는 교차 태스크 관계를 학습한다는 것을 확인시켜 준다.
• 보조 태스크 라벨의 비율을 높일수록 일반적으로 데이터 세트 전반에서 성능이 향상된다.
• 소수 샷 학습 벤치마크(mini-ImageNet, tiered-ImageNet)에서 KG 계층이 많은 MetaLink가 Baselines를 능가하며, KG 계층 2개가 최상의 성능을 제공한다.
• MS-COCO에서 Relational 설정에서 일관된 개선이 나타나며, 특히 다수의 KG 계층을 사용할 때 더 뚜렷하다.

Figure 2: Our MetaLink framework allows for modeling four different multi-task learning settings: $\bigcirc$ represent data nodes and $\square$ represent task nodes. Blue represents the data/tasks seen in the training stage and white denotes the data/tasks seen only in the test stage. During model i