[論文レビュー] Relational Multi-Task Learning: Modeling Relations between Data and Tasks

Kaidi Cao, Jiaxuan You+1 more|arXiv (Cornell University)|Mar 14, 2023

Machine Learning in Bioinformatics被引用数 8

ひとこと要約

MetaLinkは補助タスクのラベルを活用してマルチタスク予測を改善し、データ点とタスクヘッドの知識グラフを構築して関係的マルチタスク学習をリンクラベル予測として解く。

ABSTRACT

A key assumption in multi-task learning is that at the inference time the multi-task model only has access to a given data point but not to the data point's labels from other tasks. This presents an opportunity to extend multi-task learning to utilize data point's labels from other auxiliary tasks, and this way improves performance on the new task. Here we introduce a novel relational multi-task learning setting where we leverage data point labels from auxiliary tasks to make more accurate predictions on the new task. We develop MetaLink, where our key innovation is to build a knowledge graph that connects data points and tasks and thus allows us to leverage labels from auxiliary tasks. The knowledge graph consists of two types of nodes: (1) data nodes, where node features are data embeddings computed by the neural network, and (2) task nodes, with the last layer's weights for each task as node features. The edges in this knowledge graph capture data-task relationships, and the edge label captures the label of a data point on a particular task. Under MetaLink, we reformulate the new task as a link label prediction problem between a data node and a task node. The MetaLink framework provides flexibility to model knowledge transfer from auxiliary task labels to the task of interest. We evaluate MetaLink on 6 benchmark datasets in both biochemical and vision domains. Experiments demonstrate that MetaLink can successfully utilize the relations among different tasks, outperforming the state-of-the-art methods under the proposed relational multi-task learning setting, with up to 27% improvement in ROC AUC.

研究の動機と目的

• テスト時のデータポイントが補助タスクのラベルを持つ可能性がある場合に、複数のタスクから学習する動機を示す。
• 推論時に補助タスクのラベルを活用した関係的マルチタスク設定を提案する。
• データ-タスク、データ-データ、タスク-タスクの関係を知識グラフでモデル化するMetaLinkを紹介する。
• 新しいタスクでデータ点を予測することを、グラフ上のリンクラベル予測問題として再定式化する。
• 生化学的データとビジョンのベンチマークにおいて、データ効率の良い改善を示す。

提案手法

• データノード（埋め込み z^(i)）とタスクノード（重み w_j）を、y_j^(i)でラベル付けされたエッジによって結ぶ知識グラフを構築する。
• タスクヘッドをデータ埋め込みとともに入力として再解釈し、f_phi(w_j, z^(i))予測を可能にする。
• データ-タスクグラフ上の異種GNNを用い、型認識メッセージとエッジ特徴を持つ GraphConv 層を介してノード埋め込み h_v^(l) を生成する。
• タスク固有のラベルを表現するため、メッセージ伝播時のエッジラベル y_v^(u)を訓練可能なエッジ特徴として組み込む。
• 複数のGNN層を集約して最終予測を形成する：EdgePred( h_i^(L), h_j^(L) )。
• Relational、Meta、Relational Meta の設定に対して MetaLink を適用し、未見タスクに対する再ラベリング戦略と新規タスクノードの帰納的初期化を含める。

Figure 1: In the relational multi-task setting, the model learns to incorporate auxiliary knowledge in making predictions to achieve data efficiency. Concretely, given observations $\mathbf{x}^{(i)}$ and their labels $\{y^{(i)}_{j}\}$ (0/1 in this example) on subsets of tasks $\{t_{j}\}$ , the goal

実験結果

リサーチクエスチョン

• RQ1 推論時に利用可能な補助タスクのラベルは、ターゲットタスクでの予測を改善できるか。
• RQ2 データ点とタスクを unified なグラフとしてモデル化し、GNN がデータ-タスク関係を活用して性能を向上させることができるか。
• RQ3 エッジ特徴と型認識メッセージ伝播を持つ異種GNNは、タスク間情報を効果的に活用できるか。
• RQ4 RelationalおよびMetaタスク設定の下で、 unseen タスクを含む場合の MetaLink のBiochemical および vision ベンチマークでの性能はどうか。
• RQ5 補助タスクラベルの比率が予測ゲインに与える影響はどの程度か。

主な発見

Method	Setting	Tox21 (12 tasks)	Sider (27 tasks)	ToxCast (617 tasks)
MPNN (Gilmer et al., 2017)	Standard	80.8 ± 2.4	59.5 ± 3.0	69.1 ± 1.3
DMPNN (Yang et al., 2019)	Standard	82.6 ± 2.3	63.2 ± 2.3	71.8 ± 1.1
MGCN (Lu et al., 2019)	Standard	70.7 ± 1.6	55.2 ± 1.8	66.3 ± 0.9
AttentiveFP (Xiong et al., 2019)	Standard	80.7 ± 2.0	60.5 ± 6.0	57.9 ± 1.0
GROVER(48M) (Rong et al., 2020)	Standard	81.9 ± 2.0	65.6 ± 0.6	72.3 ± 1.0
GROVER(100M) (Rong et al., 2020)	Standard	83.1 ± 2.5	65.8 ± 2.3	73.7 ± 1.0
MetaLink	Relational	83.7 ± 1.9	76.8 ± 3.0	79.4 ± 1.0
MetaLink	Meta	77.5 ± 2.1	57.9 ± 5.0	71.3 ± 2.2
MetaLink	Relational +Meta	79.2 ± 2.9	65.4 ± 4.3	84.3 ± 1.2

• MetaLinkは生化学およびビジョンのベンチマークにおいて、Relationalマルチタスク設定下で最先端のベースラインを上回り、最大で ROC AUC が 27% 向上。
• Relational および Relational Meta 設定で大きな利益を生む一方、補助ラベルが利用できない標準設定では利点が限定的な場合がある。
• アブレーションにより、タスク間相関が高いタスクでより大きな改善が見られ、MetaLink が意味のあるクロスタスク関係を学習することを確認。
• 補助タスクラベルの割合を増やすと、データセット全体で一般に性能が向上する。
• Few-shot 学習ベンチマーク（mini-ImageNet、tiered-ImageNet）では、KG層を複数用いた MetaLink がベースラインを上回り、最大で 2 層の KG 層が最良の性能を提供。
• MS-COCO において、Relational 設定で一貫した改善を示し、特に複数の KG 層を使用する場合に顕著。

Figure 2: Our MetaLink framework allows for modeling four different multi-task learning settings: $\bigcirc$ represent data nodes and $\square$ represent task nodes. Blue represents the data/tasks seen in the training stage and white denotes the data/tasks seen only in the test stage. During model i