[論文レビュー] Probing Graph Representations

Mohammad Sadegh Akhondzadeh, Vijay Lingam+1 more|arXiv (Cornell University)|Mar 7, 2023

Machine Learning in Materials ScienceMaterials Science被引用数 3

ひとこと要約

本論文は、GNN やグラフ自己注意モデルが学習したグラフ表現に、どのような化学的関連情報がエンコードされているかを調査するためのプロービングフレームワークを導入する。線形プロービング、ベイジアン相互情報量、および干渉ベースのペアプロービングを用いて、著者らは、メッセージパッシング GNN よりもトランスフォーマー型モデルがはるかに多くの化学的に意味のある情報を捉えていること、さらに、ランダムに初期化されたモデルですら有用な特徴をエンコードしていることを見いだした。これは、プロービングがモデルの解釈可能性と開発における診断ツールとして有効であることを示している。

ABSTRACT

Today we have a good theoretical understanding of the representational power of Graph Neural Networks (GNNs). For example, their limitations have been characterized in relation to a hierarchy of Weisfeiler-Lehman (WL) isomorphism tests. However, we do not know what is encoded in the learned representations. This is our main question. We answer it using a probing framework to quantify the amount of meaningful information captured in graph representations. Our findings on molecular datasets show the potential of probing for understanding the inductive biases of graph-based models. We compare different families of models and show that transformer-based models capture more chemically relevant information compared to models based on message passing. We also study the effect of different design choices such as skip connections and virtual nodes. We advocate for probing as a useful diagnostic tool for evaluating graph-based models.

研究の動機と目的

• 学習されたグラフ表現にエンコードされている化学的関連情報の種類を調査すること。
• 実証的プロービングを用いて、メッセージパッシング GNN とグラフ自己注意モデルの表現能力を比較すること。
• スキップ接続やバーチャルノードといったアーキテクチャ的要因が、表現への情報エンコードに与える影響を評価すること。
• モデルが有用な構造的・化学的特徴を学習するためには事前学習が必要かどうかを評価すること。
• グラフ表現学習におけるプロービングを、診断的および説明可能なツールとして提唱すること。

提案手法

• 線形プロービング、ベイジアン相互情報量（BMI）推定、および入力干渉を用いたペアプロービングを組み合わせたマルチ戦略のプロービングフレームワークを採用する。
• RDKit を用いて、教師なしで化学的性質（例：機能基、原子数、3次元構造特徴）を計算する。
• データセットバイアスを低減し、モデル間の公平な比較を可能にするために、段階的プロービングを適用する。
• 特定の構造的変更（例：機能基の削除）が表現の変化に与える影響を分離するために、ペアプロービングを用いる。
• 下流タスクにおけるプロービング性能を評価することで、表現の転送可能性を測定する。
• 事前学習済みモデルとランダムに初期化されたモデルを活用し、学習が特徴学習に果たす役割を評価する。

実験結果

リサーチクエスチョン

• RQ1 分子のグラフ表現に、どのような種類の化学的・構造的性質が信頼性を持ってエンコードされているか？
• RQ2 グラフ自己注意モデルは、従来の GNN に比べて、化学的に関連する情報をどれほど効果的に捉えているか？
• RQ3 スキップ接続やバーチャルノードといったアーキテクチャ的要素が、表現への情報エンコードにどれほど寄与しているか？
• RQ4 未学習（ランダムに初期化された）モデルでも、有用な化学的特徴をエンコードできるか？ これは、事前学習が表現品質の主因ではない可能性を示唆する。
• RQ5 エンコードされた情報の豊かさ（プロービングで測定）と、下流タスクへの表現の転送可能性およびモデルの汎化性能の間には、どのような相関関係があるか？

主な発見

• トランスフォーマー型モデルは、メッセージパッシング GNN よりもはるかに多くの化学的に関連する情報をエンコードしており、特に機能基や 3 次元構造的性質において顕著である。
• ランダムに初期化されたモデルですら、顕著な量の有用な化学的情報を捉えていることから、アーキテクチャ上のインダクティブバイアスそのものが、情報豊富な表現を生み出す可能性があることが示された。
• スキップ接続は、より多くの情報をエンコードする表現を生み出すことから、構造的・化学的詳細の保持に果たす役割が明確になった。
• プロービングフレームワークにより、主な予測タスクに厳密には必要でない性質もモデルが学習していることが判明し、不適切なインダクティブバイアスの可能性が示された。
• エンコードされた情報の豊かさ（プロービングで測定）と、下流タスクへの表現の転送可能性との間に強い相関関係が確認された。
• ペアプロービングにより、特定の構造的変更（例：機能基の削除）が表現の変化に明確かつ解釈可能なシフトを引き起こすことが確認され、この手法の感受性が裏付けられた。