[論文レビュー] Semi-supervised learning of hierarchical representations of molecules using neural message passing

Hai Nguyen, Shin‐ichi Maeda+1 more|arXiv (Cornell University)|Nov 28, 2017

Computational Drug Discovery Methods参考文献 16被引用数 10

ひとこと要約

本稿では、ニューラル・メッセージ・パッシングを用いて、グラフ構造データに拡張されたパラグラフベクトルを応用し、分子に対する半教師あり階層的表現学習手法を提案する。この手法は、教師なしグラフ表現学習分野で最先端の性能を達成しており、限られたラベル付きデータにおける教師あり学習に比べ、半教師あり学習が予測精度を顕著に向上させることを示している。

ABSTRACT

With the rapid increase of compound databases available in medicinal and material science, there is a growing need for learning representations of molecules in a semi-supervised manner. In this paper, we propose an unsupervised hierarchical feature extraction algorithm for molecules (or more generally, graph-structured objects with fixed number of types of nodes and edges), which is applicable to both unsupervised and semi-supervised tasks. Our method extends recently proposed Paragraph Vector algorithm and incorporates neural message passing to obtain hierarchical representations of subgraphs. We applied our method to an unsupervised task and demonstrated that it outperforms existing proposed methods in several benchmark datasets. We also experimentally showed that semi-supervised tasks enhanced predictive performance compared with supervised ones with labeled molecules only.

研究の動機と目的

• ドラッグおよび材料発見におけるラベル付き分子データの不足という課題に対処する。
• 分子をグラフ構造的オブジェクトとして扱う、教師なし階層的特徴抽出手法を開発する。
• ニューラル・メッセージ・パッシングを用いて、パラグラフベクトルをグラフに拡張し、階層的サブ構造表現を実現する。
• ラベルなしデータを用いた半教師あり学習が、ラベル付き分子のみを用いた教師あり学習に比べ、予測性能を向上させることを実証する。
• 医薬品科学および材料科学で一般的な低データ環境において、効果的な分子表現学習を可能にする。

提案手法

• 各分子を「文書」とし、そのサブ構造を「単語」とみなして、パラグラフベクトルを分子に適応する。
• 近隣特徴の反復的集約を通じて、ニューラル・メッセージ・パッシングを用いて分子サブグラフの階層的表現を学習する。
• ノードおよびグラフレベルの埋め込みを同時に学習するために、メッセージパッシングをスイップグラムに類似した目的関数と統合する。
• トレーニングのスケーラビリティと効率性を高めるために、ネガティブサンプリングおよびノイズ対比推定を適用する。
• 階層的ノード表現から固定サイズのグラフレベル埋め込みを生成するために、学習可能なリードアウト層を導入する。
• ラベル付きおよびラベルなし分子の両方を同時に最適化することで、教師なしモデルを半教師あり学習に拡張する。

実験結果

リサーチクエスチョン

• RQ1 ニューラル・メッセージ・パッシングをパラグラフベクトルと効果的に組み合わせ、階層的分子表現を学習できるか？
• RQ2 提案手法の教師なし手法が、標準的な分子ベンチマークデータセットにおいて、既存のグラフ表現学習ベースラインを上回るか？
• RQ3 豊富なラベルなし分子を用いた半教師あり学習が、少数のラベル付き分子での教師あり学習に比べ、予測性能を向上させられるか？
• RQ4 低データ環境におけるラベル付きデータ量の増加に伴い、提案手法の性能はどのようにスケーリングするか？
• RQ5 学習された階層的表現は、既存のフィンガープintやカーネルベース手法よりも、分子特性予測においてより情報量が多いか？

主な発見

• MUTAGデータセットでは、提案手法が教師なし表現学習で86.46% ± 5.97の精度を達成し、すべてのベースライン手法（例：graph2vec 83.15% ± 9.25）を上回った。
• PTCデータセットでは、62.86% ± 5.71の精度を達成し、node2vec（58.85% ± 8.00）およびWLカーネル（59.61% ± 2.79）をすべて上回った。
• 溶解度予測タスクでは、半教師あり手法（SemiNFP）が、ラベル付きデータが3%のときの平均絶対誤差1.85 ± 0.03を、6%ラベル付きデータで1.56 ± 0.07に低下させ、一貫した改善を示した。
• ドラッグ感受性予測（EC50）では、SemiNFPが18%ラベル付きデータで1.35 ± 0.19 MAEを達成し、同じ条件下でNFPの1.51 ± 0.21 MAEを上回った。
• これらの結果から、ラベルなしデータを半教師あり学習で統合することで、極めて少ないラベル付きデータでもモデル性能が顕著に向上することが明らかになった。
• 著者らの知る限り、本研究は、メッセージパッシングに基づくグラフ表現を用いた分子特性予測に、半教師ありフレームワークを成功裏に適用した最初の研究である。