[論文レビュー] Towards Interpretable Sparse Graph Representation Learning with Laplacian Pooling

Emmanuel Noutahi, Dominique Beaini+3 more|arXiv (Cornell University)|May 27, 2019

Computational Drug Discovery Methods被引用数 13

ひとこと要約

本稿では、グラフラプラシアンを活用して構造と特徴の両面からノードをクラスタリングすることで、階層的に分子グラフを粗視化する微分可能で解釈可能なグラフプーリング手法LaPoolを提案する。分子グラフ分類および生成ベンチマークにおいて、従来のプーリング手法を上回り、より明確なサブ構造解釈を可能にし、分子生成タスクでは98.8%の妥当性と65.5%の独自性を達成した。

ABSTRACT

Recent work in graph neural networks (GNNs) has led to improvements in molecular activity and property prediction tasks. Unfortunately, GNNs often fail to capture the relative importance of interactions between molecular substructures, in part due to the absence of efficient intermediate pooling steps. To address these issues, we propose LaPool (Laplacian Pooling), a novel, data-driven, and interpretable hierarchical graph pooling method that takes into account both node features and graph structure to improve molecular representation. We benchmark LaPool on molecular graph prediction and understanding tasks and show that it outperforms recent GNNs. Interestingly, LaPool also remains competitive on non-molecular tasks. Both quantitative and qualitative assessments are done to demonstrate LaPool's improved interpretability and highlight its potential benefits in drug design. Finally, we demonstrate LaPool's utility for the generation of valid and novel molecules by incorporating it into an adversarial autoencoder.

研究の動機と目的

• 既存の分子グラフ用グラフプーリング手法における解釈可能性の欠如と構造の保存性の不足に取り組む。
• サブ構造の重要性を捉える構造に配慮した階層的プーリングを可能にすることで、GNNにおけるグラフ表現学習を向上させる。
• 微分可能でノード順列に不変なプーリング機構を設計し、エンドツーエンド学習に適したものとする。
• 分子性質予測および生成モデリングの両タスクにおいて手法を評価し、性能と解釈可能性の向上を示す。
• 分子グラフ表現学習における解釈可能性を評価するためのベンチマークデータセットを構築する。

提案手法

• LaPoolは、グラフラプラシアンを用いてスペクトル埋め込みを計算し、構造的類似性に基づくノードクラスタリングを支援する。
• ラプラシアンに基づく埋め込み上で学習可能なアテンション機構を用いて、動的に代表ノード（センターノード）を選択する。
• 非センターノード（フォロワー）は、グラフ構造を保持するスパースで微分可能なアテンション機構を介してクラスタに割り当てる。
• プーリングプロセスは微分可能でエンドツーエンド学習可能であり、既存のGNNアーキテクチャへの統合を可能にする。
• GINベースのエンコーダーを用いた順列不変な再構成損失を組み込み、ノード順序の変動に対してより頑健にする。
• 生成モデルにおける評価を、QM9をベンチマークデータセットとして、変分オートエンコーダー（WAE）フレームワークで実施する。

実験結果

リサーチクエスチョン

• RQ1 ノード特徴とグラフ構造の両方を組み込んだ微分可能なグラフプーリング手法は、GNNにおける分子表現学習を向上させ得るか？
• RQ2 グラフラプラシアンに基づく階層的クラスタリングを採用するLaPoolは、従来のプーリング手法と比較して予測性能および解釈可能性において優れているか？
• RQ3 LaPoolは、意味のある分子サブ構造を保存・強調することで、GNNの解釈性をどの程度向上させるか？
• RQ4 LaPoolは生成モデルに効果的に適用可能で、妥当的で独自性があり、新規な分子を生成できるか？
• RQ5 LaPoolは分子グラフにとどまらず、他のスプライスで不規則なグラフデータにも一般化可能か？

主な発見

• LaPoolはQM9データセット上で分子生成タスクで98.8%の妥当性を達成し、WAE-GNN（96.8%）およびWAE-Diff（97.2%）を上回り、グラフ表現の優れたロバスト性を示した。
• 生成分子の独自性は65.5%に達し、WAE-GNN（50.0%）およびWAE-Diff（29.3%）を大きく上回り、多様性の向上が確認された。
• 非分子ベンチマークでも高い性能を維持しており、分子グラフを超えた一般化能力を示した。
• 粗視化過程で接続性と特徴構造を保持したことで、より解釈可能な表現を生成し、明確なサブ構造同定を可能にした。
• 本研究の新規貢献として、GNNの解釈可能性を体系的に評価可能な分子グラフ解釈ベンチマークを提案した。
• LaPoolのプーリング機構は、WAEフレームワーク内での再構成品質を向上させた。順列不変損失の改善および妥当性の向上により、その効果が裏付けられた。