[論文レビュー] N-Gram Graph: Simple Unsupervised Representation for Graphs, with Applications to Molecules

Shengchao Liu, Mehmet F. Demirel+1 more|arXiv (Cornell University)|Jun 24, 2018

Computational Drug Discovery Methods参考文献 58被引用数 78

ひとこと要約

N-gram Graph を導入する。これは分子の無監督・訓練不要のグラフ表現で、頂点表現から短いウォークを介してグラフ埋め込みを構築し、複数の分子特性タスクで強力な予測性能を実現する。

ABSTRACT

Machine learning techniques have recently been adopted in various applications in medicine, biology, chemistry, and material engineering. An important task is to predict the properties of molecules, which serves as the main subroutine in many downstream applications such as virtual screening and drug design. Despite the increasing interest, the key challenge is to construct proper representations of molecules for learning algorithms. This paper introduces the N-gram graph, a simple unsupervised representation for molecules. The method first embeds the vertices in the molecule graph. It then constructs a compact representation for the graph by assembling the vertex embeddings in short walks in the graph, which we show is equivalent to a simple graph neural network that needs no training. The representations can thus be efficiently computed and then used with supervised learning methods for prediction. Experiments on 60 tasks from 10 benchmark datasets demonstrate its advantages over both popular graph neural networks and traditional representation methods. This is complemented by theoretical analysis showing its strong representation and prediction power.

研究の動機と目的

• 分子の性質予測の動機づけと、効果的なグラフ表現の必要性。
• 頂点埋め込みと n-gram ウォークに基づく、無監督・訓練不要のグラフ表現を提案する。
• 本手法がパラメータなし・訓練なしの単純な GNN に等価であることを示す。
• 10 のベンチマークデータセットからの 60 のタスクに対して強力な予測性能を示す。
• 表現力と予測保証の理論的分析を提供する。

提案手法

• 属性を考慮したワンホットエンコーディングを用いてグラフ頂点を埋め込み、隣接属性から頂点の属性を予測することで頂点埋め込み行列 W を学習する（無監督トレーニング）。
• 歩行に沿って頂点埋め込みの要素ごとの積をとり、長さ n のすべての歩行を総和して n-gram 埋め込みを構築する。
• f_(1), ..., f_(T) を結合してグラフ埋め込み f_G を形成し、ウォーク長 T までのグラフを表す。
• n-gram グラフ埋め込みがパラメータなしの Graph Neural Network に、反復的な隣接要素の集約を伴って等価であることを示す。
• ランタイム解析を提供: O(r T (m + m_e))、ここで r は埋め込み次元、T はウォーク長、m および m_e は頂点と辺。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータでエンドツーエンドの訓練を行わず、無監督で単純なグラフ表現が分子性質予測で競争力を持つことができるか？
• RQ2 頂点埋め込みを介して埋め込まれたとき、n-gram ウォーク統計にグラフについてどれだけの情報が保持されるか？
• RQ3 提案された N-gram グラフ表現はデータセットやタスクを跨って転用可能か？
• RQ4 ハイパーパラメータ r（埋め込み次元）と T（ウォーク長）は性能にどう影響するか？

主な発見

• N-gram グラフは、単純な XGBoost または Random Forest を用いて、従来のフィンガープリントやいくつかの GNN を上回ることが多く、60 のタスクで優れた性能を示す。
• あるデータセットで訓練された埋め込みは他のデータセットへ転移でき、ランダム埋め込みでさえ一部のタスクで競合的な結果を示す。
• QM9/QM8 データセットに対して、DTNN/MPNN のような3D情報ベースモデルと比較して優れたまたは同程度の性能を達成する。
• 一般に T を増やすと性能が向上するが、より大きな r は影響が小さい。
• このアプローチは多くの GNN より表現の構築が速く、カーネルベースの手法と競合する。