[論文レビュー] Multitask Learning On Graph Neural Networks Applied To Molecular Property Predictions

Fábio Capela, Vincent Nouchi+3 more|arXiv (Cornell University)|Oct 29, 2019

Computational Drug Discovery Methods被引用数 9

ひとこと要約

本稿では、分子性質予測のためのグラフニューラルネットワーク（GNN）を用いたマルチタスク学習フレームワークを提案しており、複数の物理化学的性質を同時に学習させることでモデル性能が向上し、ばらつきが低減することを示している。主な貢献は、マルチタスク学習が明示的なデータ拡張やトランスファーラーニングの恩恵を必要とせずに、暗黙的なデータ拡張として機能し、特に小規模データセットにおいて顕著な性能向上をもたらす点にある。

ABSTRACT

Prediction of molecular properties, including physico-chemical properties, is a challenging task in chemistry. Herein we present a new state-of-the-art multitask prediction method based on existing graph neural network models. We have used different architectures for our models and the results clearly demonstrate that multitask learning can improve model performance. Additionally, a significant reduction of variance in the models has been observed. Most importantly, datasets with a small amount of data points reach better results without the need of augmentation.

研究の動機と目的

• 分子性質予測におけるデータ不足の課題、特に高価または時間がかかる物理化学的測定の文脈を扱う。
• GNNを用いたマルチタスク学習により、低データ環境下でのモデルの汎化性能を向上させ、過学習を低減する。
• マルチタスク学習が多様な分子性質予測タスクにおいて性能と頑健性を向上させるかどうかを評価する。
• ターゲット間相関に基づくデータ選択の役割と、学習済みGNN埋め込みのトレードマークの欠如を調査する。

提案手法

• 原子および結合特徴を用いて分子グラフをモデル化するため、GIN、GGRNet、GAINなどのグラフニューラルネットワークアーキテクチャを採用した。
• エスオール（Esol）、フリーソルブ（FreeSolv）、logD7.4、BP、LogVP、LogPの6つの分子性質予測タスクを同時に学習することでマルチタスク学習を実施した。
• ターゲット性質間の相関に基づいたデータ選択戦略を用いてモデル性能を向上させた。
• 共有のGNNエンコーダ層とタスク固有のヘッドを備えたエンドツーエンドの訓練を実施し、すべてのタスクでRMSEを最適化した。
• GNN畳み込み層を固定し、保留済みタスクでの最終分類器のみを微調整することで、トランスファーラーニングの実験を実施した。
• 訓練中の重み分布のダイナミクスを分析し、インダクティブバイアスおよびモデルの汎化性能を理解した。

実験結果

リサーチクエスチョン

• RQ1 GNNを用いたマルチタスク学習は、特に小規模データセットにおいて、分子性質予測の精度を向上させるとともにばらつきを低減できるか？
• RQ2 ターゲット間相関に基づくデータ選択は、マルチタスク学習の性能向上に寄与するか？
• RQ3 事前学習済みモデルからのGNN表現の、新しい未観測の分子性質予測タスクへの顕著なトレードマーク性が存在するか？
• RQ4 訓練中にマルチタスクモデルの重み分布は、単一タスクモデルとどのように異なるか？

主な発見

• マルチタスク学習により、すべてのタスクでRMSEが顕著に低減され、最も優れた性能を示したモデル（GGRNet）は、Esolで0.53±0.02 RMSE、FreeSolvで0.80±0.03 RMSEを達成した。
• データ選択を施したGINモデルは、LogPで0.47±0.01 RMSEを達成し、単一タスクベースラインの0.48±0.02を上回った。
• トランスファーラーニングの実験では、保留済みタスクでの微調整が一貫して性能を低下させたり改善をもたらさなかったため、有意義なトレードマーク性は観察されなかった。
• マルチタスクモデルでは、訓練全体を通して重み分布が広がり続けたことから、仮説空間のより良い探索と過学習の低減が示唆された。
• マルチタスク学習による性能向上の主な要因は、特徴の転送ではなく、関連するタスクを統合することによる暗黙的なデータ拡張に起因していた。
• ターゲット相関に基づくデータ選択は、一般的に性能向上をもたらしたが、一部のケース（例：LogVPやlogD7.4）では潜在的なアンダーフィッティングの可能性が見られた。