[論文レビュー] Benchmarking Graphormer on Large-Scale Molecular Modeling Datasets

Yu Shi, Shuxin Zheng+8 more|arXiv (Cornell University)|Mar 9, 2022

Machine Learning in Materials Science被引用数 24

ひとこと要約

この技術ノートは Graphormer をアーキテクチャの微調整と3D適応で更新し、大規模分子データセットでより強力な結果を達成し、グローバルアテンションが古典的GNNを表現力で上回ることを証明します。

ABSTRACT

This technical note describes the recent updates of Graphormer, including architecture design modifications, and the adaption to 3D molecular dynamics simulation. With these simple modifications, Graphormer could attain better results on large-scale molecular modeling datasets than the vanilla one, and the performance gain could be consistently obtained on 2D and 3D molecular graph modeling tasks. In addition, we show that with a global receptive field and an adaptive aggregation strategy, Graphormer is more powerful than classic message-passing-based GNNs. Empirically, Graphormer could achieve much less MAE than the originally reported results on the PCQM4M quantum chemistry dataset used in KDD Cup 2021. In the meanwhile, it greatly outperforms the competitors in the recent Open Catalyst Challenge, which is a competition track on NeurIPS 2021 workshop, and aims to model the catalyst-adsorbate reaction system with advanced AI models. All codes could be found at https://github.com/Microsoft/Graphormer.

研究の動機と目的

• Graphormer のバリアントが大規模分子特性予測タスクでどう機能するかを調査する。
• 層正規化の配置などアーキテクチャの選択がモデルの汎化性能に与える影響を評価する。
• 空間的および中心性エンコーディングを備えた3D分子グラフへ Graphormer を拡張する。
• OC20 のような3D分子データセットでエネルギー予測精度のため Graphormer を評価する。
• 分散計算の概念を通じた Graphormer の表現力に関する理論的洞察を提供する。

提案手法

• PCQM4M v1 および v2 データセット上で Graphormer 内の Pre-LN と Post-LN Transformer バリアントを比較する。
• 深さの影響を評価するため Graphormer を24層、1024隠れユニットまでスケールさせる。
• 3D 空間的エンコーディングと中心性エンコーディング、および回転同値性のための3D アテンション層を備えた Graphormer を適用する。
• 空間エンコーディングにユークリッド距離をエンコードするためにガウス基底関数を適用する。
• 精度向上のため反復出力を用いたOC20電催化剤データセットを評価し、補助的なノードレベルの目的も併用する。
• CONGEST vs CONGESTED CLIQUE モデルを用いた表現力の議論を通じてグローバル受容野の利点を示す。

実験結果

リサーチクエスチョン

• RQ1 異なる層正規化の配置（Pre-LN vs Post-LN）は大規模分子特性予測における Graphormer の性能にどう影響するか？
• RQ2 3D分子グラフへの Graphormer の拡張は OC20 のような3Dデータセットで予測精度を改善するか？
• RQ3 グローバル受容野を持つ Graphormer は分子グラフで伝統的な MPGNN を表現力で上回ることができるか？
• RQ4 適応型アテンションと3Dエンコーディングが電催化剤データセットのエネルギー prediction に与える影響は何か？
• RQ5 2D および 3D Graphormer バリアントは大規模分子モデリングベンチマーク（PCQM4M v1/v2 および OC20）全体で一貫して一般化しますか？

主な発見

Variant / Model	Params	Train MAE PCQMv1	Valid MAE PCQMv1	Train MAE PCQMv2	Valid MAE PCQMv2
PreLN Base	48.3M	0.0266	0.1229	0.0266	0.0889
PreLN Large	159.3M	0.0172	0.1213	0.0173	0.0879
PostLN Base	48.3M	0.0416	0.1193	0.0348	0.0864
PostLN Large	159.3M	0.0212	0.1228	0.0186	0.0883
Source

• Post-LN Graphormer バリアントは大規模モデルの場合、Pre-LN バリアントより PCQM4M v1/v2 で一般化性能が高い傾向。
• 24 層の Graphormer は異なる一般化挙動を示し、さらなるチューニングで一般化の改善の可能性を示している。
• 3D 適応は空間距離とガウス基底を用いた回転認識型3Dアテンションにより3D分子モデリング性能を向上させる。
• OC20 のエネルギー予測では Graphormer が高い成果を上げ、アンサンブルバリアントが顕著な向上を提供。
• 理論的枠組みは Graphormer のグローバル受容野が局所的な MP GNN を超える表現力を高めることを示唆しており、分散計算の洞察と一致している。
• Graphormer は PCQM4M データセットで MAE を以前の報告と比べて大幅に低減でき、OC20 ベンチマークで競合他社を上回る。