[論文レビュー] Structured Multi-task Learning for Molecular Property Prediction

Shengchao Liu, Meng Qu+3 more|arXiv (Cornell University)|Feb 22, 2022

Machine Learning in Materials Science被引用数 7

ひとこと要約

本稿では、分子性質予測のための構造的マルチタスク学習フレームワークであるSGNN-EBMを提案する。この手法は、明示的なタスク関係グラフを活用することで性能を向上させる。潜在的タスク表現学習に状態遷移グラフニューラルネットワーク（SGNN）を、構造的出力予測にエナジーに基づくモデル（EBM）を組み合わせることで、382のタスクを有する新規に構築されたChEMBL-STRINGデータセットにおいて、ノイズ対比推定を用いた効率的な学習により、潜在空間および出力空間におけるタスク関係の共同モデリングを実現し、最先端の性能を達成した。

ABSTRACT

Multi-task learning for molecular property prediction is becoming increasingly important in drug discovery. However, in contrast to other domains, the performance of multi-task learning in drug discovery is still not satisfying as the number of labeled data for each task is too limited, which calls for additional data to complement the data scarcity. In this paper, we study multi-task learning for molecular property prediction in a novel setting, where a relation graph between tasks is available. We first construct a dataset (ChEMBL-STRING) including around 400 tasks as well as a task relation graph. Then to better utilize such relation graph, we propose a method called SGNN-EBM to systematically investigate the structured task modeling from two perspectives. (1) In the \emph{latent} space, we model the task representations by applying a state graph neural network (SGNN) on the relation graph. (2) In the \emph{output} space, we employ structured prediction with the energy-based model (EBM), which can be efficiently trained through noise-contrastive estimation (NCE) approach. Empirical results justify the effectiveness of SGNN-EBM. Code is available on https://github.com/chao1224/SGNN-EBM.

研究の動機と目的

• ドメイン知識からの構造的タスク関係を活用することで、分子性質予測におけるデータ不足を緩和すること。
• 明示的なタスク関係グラフがドラッグディスcoveryにおけるマルチタスク学習の性能にどのように寄与するかを調査すること。
• 一般化性能の向上を図るため、潜在空間および出力空間の両方でタスク関係を統合的にモデリングする統合フレームワークの開発。
• 382のタスクを有する大規模でドメイン特化型のマルチタスクデータセット（ChEMBL-STRING）を構築し、タンパク質-タンパク質相互作用に基づくタスク関係グラフを提供すること。

提案手法

• ChEMBLのバイオアクティビティアッセイとSTRINGタンパク質-タンパク質相互作用ネットワークを統合し、タンパク質標的を基準に382のバイナリ分類タスクを定義することで、ChEMBL-STRINGデータセットを構築する。
• タスク関係グラフ上で特徴を伝搬させることで、潜在空間におけるタスク表現を学習するための状態遷移グラフニューラルネットワーク（SGNN）を用いる。
• エナジーに基づくモデル（EBM）を用いて、マルチタスク予測を構造的予測として定式化し、エネルギー関数にSGNNで学習されたタスク表現を組み込む。
• ノイズ対比推定（NCE）を用いてEBMを効率的に学習し、実際のラベル構成とノイズサンプルを区別することで、結合ラベル分布を最適化する。
• 固定一様ノイズ分布と、事前学習済みSGNNモデルから初期化された適応的ノイズ分布の2通りのノイズ分布戦略を検討する。
• EBMにおける推論にはギブスサンプリングを適用し、SGNNの層数に関するアブレーションスタディを実施し、長距離依存性のモデリング能力を評価する。

実験結果

リサーチクエスチョン

• RQ1 生物学的知識から得た明示的なタスク関係グラフは、分子性質予測におけるマルチタスク学習性能を向上させることができるか？
• RQ2 潜在空間でのみタスク関係をモデリングするのと比較して、潜在空間および出力空間の両方でタスク関係を共同モデリングすることは、予測性能にどのように影響するか？
• RQ3 EBMのNCEベースの学習における、異なるノイズ分布選択が下流性能に与える影響は何か？
• RQ4 SGNNの深さ（層数）は、関係グラフ内での長距離タスク依存性を捉える能力にどのように影響するか？
• RQ5 EBMによる構造的予測は、各タスクの独立予測と比較して、どの程度性能を向上させるか？

主な発見

• SGNN-EBMは、評価されたすべてのデータセットで最高の平均ROC-AUC性能を達成し、すべての強力なMTLベースラインを一貫して上回った。
• SGNNコンponent単体でも、単一タスク学習および標準的なMTLベースラインを上回る性能を示しており、構造的タスク表現学習の価値を裏付けた。
• SGNNとEBMを組み合わせたSGNN-EBMは、SGNN単体よりも一貫した顕著な性能向上を達成しており、構造的出力モデリングの有効性を検証した。
• 事前学習済みSGNNモデルから初期化された適応的更新ノイズ分布を用いることで、固定または一様ノイズ分布よりも優れた性能が得られた。
• SGNNの層数を増やすことで性能は向上するが、L=4をピークにその後劣化し、ギブスサンプリングによる長距離依存性の捉えにくさが原因である可能性がある。
• アブレーションスタディの結果、EBMによる構造的予測は、あらゆる事前分布に対して一貫した、やや小さいが明確な性能向上をもたらすことが確認され、本手法の堅牢性を裏付けた。