[論文レビュー] Connectivity Optimized Nested Graph Networks for Crystal Structures

Robin Ruff, Patrick Reiser+2 more|arXiv (Cornell University)|Feb 27, 2023

Machine Learning in Materials Science被引用数 9

ひとこと要約

この論文は非対称単位グラフ表現と結合最適化多重グラフネットワーク（coGN）を結晶材料のために提案し、その後、ネストグラフネットワーク（NGN）へ拡張してアーキテクチャ空間を体系的に探索し、MatBench ベンチマークで強力な結果を達成する。

ABSTRACT

Graph neural networks (GNNs) have been applied to a large variety of applications in materials science and chemistry. Here, we recapitulate the graph construction for crystalline (periodic) materials and investigate its impact on the GNNs model performance. We suggest the asymmetric unit cell as a representation to reduce the number of atoms by using all symmetries of the system. This substantially reduced the computational cost and thus time needed to train large graph neural networks without any loss in accuracy. Furthermore, with a simple but systematically built GNN architecture based on message passing and line graph templates, we introduce a general architecture (Nested Graph Network, NGN) that is applicable to a wide range of tasks. We show that our suggested models systematically improve state-of-the-art results across all tasks within the MatBench benchmark. Further analysis shows that optimized connectivity and deeper message functions are responsible for the improvement. Asymmetric unit cells and connectivity optimization can be generally applied to (crystal) graph networks, while our suggested nested graph framework will open new ways of systematic comparison of GNN architectures.

研究の動機と目的

• 非対称単位セルを用いて結晶 GNN の計算コストと冗長性を削減しつつ精度を維持する。
• 結晶のグラフニューラルネット設計空間を Nested Graph Networks（NGN）で体系的に探索する。
• 最適化された結合性とアーキテクチャ選択を通じて MatBench 結晶構造タスクの最先端性能を向上させる。
• 結晶 GNN のエッジ選択、対称性の活用、並行グラフの角情報の線形グラフベース利用に関する実践的ガイドラインを提供する。

提案手法

• 結晶を非対称単位グラフとして表現し、対称性を利用してノード/エッジ数を削減する。
• 結晶グラフに対するエッジ選択戦略（k-NN、半径、ボロノイ）を比較し、性能への影響を評価する。
• エッジ更新を深くし、結合性最適化を取り入れることで多段階のメッセージ伝播を可能にする Nested Graph Networks（NGN）を開発する。
• 深いエッジ更新と結合性最適化を備えた coGN（ connectivity-optimized GN）を実 instantiate し、予測精度を最大化する。
• NGN フレームワーク内でアーキテクチャ探索を実施し、GN ブロックを G、L(G)、L(L(G)) にネストするバリアントを含む。
• MatBench の結晶構造タスクでハイパーパラメータ最適化を行い、タスク間で転移可能性を評価する。

(a) $k$ NN Edges

実験結果

リサーチクエスチョン

• RQ1 非対称単位グラフを用いて結晶対称性を活用することは、精度を損なうことなく計算量を削減できるのか。
• RQ2 k-NN のエッジ選択での k=24 の場合、グラフは強い予測性能を達成するのか。Voronoi ベースのエッジは別の結合性をもたらすのか。
• RQ3 NGN は既存の結晶 GNN アーキテクチャを包含・改善できるのか、どの条件下でそうなるのか。
• RQ4 MatBench 構造データセットで最先端の結果を出すには、どのアーキテクチャと前処理設定が必要か。
• RQ5 NGN の利点はタスク間で一貫しているのか、それともタスク固有のハイパーパラメータ調整を要するのか。

主な発見

Dataset	coGN (ours)	coNGN (ours)	ALIGNN	MODNet	CGCNN	M3GNet	Matformer
e_form ↓	17.0 ± 0.3	17.8 ± 0.4	21.5 ± 0.5	44.8 ± 3.9	33.7 ± 0.6	19.5 ± 0.2	21.232 ± 0.302
is_metal ∗ ↑	0.9124 ± 0.0023	0.9089 ± 0.0019	0.9128 ± 0.0015	0.9038 ± 0.0106	0.9520 ± 0.0074	0.958±0.001	0.906 ± 0.002
gap ↓	155.9 ± 1.7	169.7 ± 3.5	186.1 ± 3.0	219.9 ± 5.9	297.2 ± 3.5	183 ± 5	187.825 ± 3.817
perovskites ↓	26.9 ± 0.8	29.0 ± 1.1	28.8 ± 0.9	90.8 ± 2.8	45.2 ± 0.7	33 ± 1.0	31.514 ± 0.71
log_kvrh ↓	0.0535 ± 0.0028	0.0491 ± 0.0026	0.0568 ± 0.0028	0.0548 ± 0.0025	0.0712 ± 0.0028	0.058±0.003	0.063 ± 0.0027
log_gvrh ↓	0.0689 ± 0.0009	0.0670 ± 0.0006	0.0715 ± 0.0006	0.0731 ± 0.0007	0.0895 ± 0.0016	0.086±0.002	0.077 ± 0.0016
dielectric ↓	0.3088 ± 0.0859	0.3142 ± 0.0740	0.3449 ± 0.0871	0.2711 ± 0.0714	0.5988 ± 0.0833	0.312±0.063	0.634 ± 0.131
phonons ↓	29.712 ± 1.997	29.887 ± 3.284	29.539 ± 2.115	34.2751 ± 2.0781	57.7635 ± 12.311	34.1 ± 4.5	42.526 ± 11.886
jdft2d ↓	37.165 ± 13.683	36.170 ± 11.597	43.424 ± 8.949	33.192 ± 7.343	49.244 ± 11.587	50.1 ± 11.9	42.827 ± 12.281

• 非対称単位グラフは MatBench データセットでノード/エッジとメモリ使用量を約2.1分の1に削減し、E(3)-不変 GNN の場合精度低下はなし。
• k-NN エッジ選択で k=24 の場合、グラフは強力な予測性能を発現。Voronoi ベースのエッジも有効だが接続性は異なる。
• 結合性最適化を備えた coGN は複数の MatBench 構造データセットで最先端の結果を達成し、従来モデルを上回る。
• NGN はより深いエッジ更新と線形グラフベースの角情報を提供するが、一部のバリアントでわずかな改善を示すに留まり、ただし最適化された結合性を持つ単純なGN は NGN 構成と同等かそれを上回るタスクもある。
• log_gvrh での最適性能はハイパーパラメータ最適化を通じて DimeNet に似た（バリアント 2）アーキテクチャで達成され、アーキテクチャ選択と結合性が相互作用して成果を決定することを示唆。
• NGN の学習は線形グラフ構築とより大きなパラメータ数のため計算量が高く、ネスティング深さと結合性のトレードオフが動機となる。

(b) Radius Edges