[논문 리뷰] Connectivity Optimized Nested Graph Networks for Crystal Structures

Robin Ruff, Patrick Reiser외 2명|arXiv (Cornell University)|2023. 02. 27.

Machine Learning in Materials Science인용 수 9

한 줄 요약

논문은 비대칭 단위 그래프 표현과 결정 물질용 연결 최적화 다중 그래프 네트워크(coGN)를 소개하고, 이를 중첩 그래프 네트워크(NGN)로 확장해 구조 공간을 체계적으로 탐색하며 MatBench 벤치마크에서 강력한 성능을 달성한다.

ABSTRACT

Graph neural networks (GNNs) have been applied to a large variety of applications in materials science and chemistry. Here, we recapitulate the graph construction for crystalline (periodic) materials and investigate its impact on the GNNs model performance. We suggest the asymmetric unit cell as a representation to reduce the number of atoms by using all symmetries of the system. This substantially reduced the computational cost and thus time needed to train large graph neural networks without any loss in accuracy. Furthermore, with a simple but systematically built GNN architecture based on message passing and line graph templates, we introduce a general architecture (Nested Graph Network, NGN) that is applicable to a wide range of tasks. We show that our suggested models systematically improve state-of-the-art results across all tasks within the MatBench benchmark. Further analysis shows that optimized connectivity and deeper message functions are responsible for the improvement. Asymmetric unit cells and connectivity optimization can be generally applied to (crystal) graph networks, while our suggested nested graph framework will open new ways of systematic comparison of GNN architectures.

연구 동기 및 목표

• 비대칭 단위 셀을 사용하면서 정확도를 유지하여 결정 GNN의 계산 비용과 중복성을 줄인다.
• 중첩 그래프 네트워크(NGN)를 통해 결정에 대한 그래프 신경망 설계 공간을 체계적으로 탐색한다.
• 연결성 최적화 및 아키텍처 선택을 통해 MatBench 결정-구조 작업의 최첨단 성능을 향상시킨다.
• 결정 GNN을 위한 엣지 선택, 대칭 활용, 그리고 선그래프 기반 각도 정보에 관한 실용적 지침을 제공한다.

제안 방법

• 대칭을 활용하고 노드/에지 수를 줄이기 위해 비대칭 단위 그래프를 사용하여 결정 구조를 표현한다.
• 결정 그래프에 대한 엣지 선택 전략(k-NN, 반경, Voronoi)을 비교하고 성능 영향력을 평가한다.
• 선그래프 기반 각도 정보를 그래프 네트워크와 통합하여 다중 수준 메시지 전달을 가능하게 하는 중첩 그래프 네트워크(NGN)를 개발한다.
• 깊은 엣지 업데이트와 연결 최적화를 통해 예측 정확도를 극대화하는 연결 최적화 GN(coGN)을 구현한다.
• NGN 프레임워크 내에서 아키텍처 탐색을 수행하고, G, L(G), 및 L(L(G)) 위에 GN 블록을 중첩하는 변형을 포함한다.
• log_gvrh 데이터셋에 대한 하이퍼파라미터 최적화를 통해 MatBench 결정-구조 작업에서 평가하고 작업 간 전달 가능성을 테스트한다.

(a) $k$ NN Edges

실험 결과

연구 질문

• RQ1 비대칭 단위 그래프를 통해 결정 대칭성을 활용하면 정확도를 해치지 않으면서 계산량이 감소하는가?
• RQ2 엣지 연결성 및 선그래프 기반 각도 특성의 선택이 결정 속성에서 GNN 성능에 어떤 영향을 미치는가?
• RQ3 중첩 그래프 네트워크가 기존 결정 GNN 아키텍처를 포섭하거나 개선할 수 있는가, 어떤 조건에서?
• RQ4 MatBench 구조 데이터셋에서 최첨단 결과를 내는 아키텍처 및 전처리 설정은 무엇인가?
• RQ5 NGN의 이점이 작업 전반에 걸쳐 일관적인가 아니면 작업별 하이퍼파라미터 조정이 필요한가?

주요 결과

Dataset	coGN (ours)	coNGN (ours)	ALIGNN	MODNet	CGCNN	M3GNet	Matformer
e_form ↓	17.0 ± 0.3	17.8 ± 0.4	21.5 ± 0.5	44.8 ± 3.9	33.7 ± 0.6	19.5 ± 0.2	21.232 ± 0.302
is_metal ∗ ↑	0.9124 ± 0.0023	0.9089 ± 0.0019	0.9128 ± 0.0015	0.9038 ± 0.0106	0.9520 ± 0.0074	0.958±0.001	0.906 ± 0.002
gap ↓	155.9 ± 1.7	169.7 ± 3.5	186.1 ± 3.0	219.9 ± 5.9	297.2 ± 3.5	183 ± 5	187.825 ± 3.817
perovskites ↓	26.9 ± 0.8	29.0 ± 1.1	28.8 ± 0.9	90.8 ± 2.8	45.2 ± 0.7	33 ± 1.0	31.514 ± 0.71
log_kvrh ↓	0.0535 ± 0.0028	0.0491 ± 0.0026	0.0568 ± 0.0028	0.0548 ± 0.0025	0.0712 ± 0.0028	0.058±0.003	0.063 ± 0.0027
log_gvrh ↓	0.0689 ± 0.0009	0.0670 ± 0.0006	0.0715 ± 0.0006	0.0731 ± 0.0007	0.0895 ± 0.0016	0.086±0.002	0.077 ± 0.0016
dielectric ↓	0.3088 ± 0.0859	0.3142 ± 0.0740	0.3449 ± 0.0871	0.2711 ± 0.0714	0.5988 ± 0.0833	0.312±0.063	0.634 ± 0.131
phonons ↓	29.712 ± 1.997	28.887 ± 3.284	29.539 ± 2.115	34.2751 ± 2.0781	57.7635 ± 12.311	34.1 ± 4.5	42.526 ± 11.886
jdft2d ↓	37.165 ± 13.683	36.170 ± 11.597	43.424 ± 8.949	33.192 ± 7.343	49.244 ± 11.587	50.1 ± 11.9	42.827 ± 12.281

• 비대칭 단위 그래프는 MatBench 데이터셋에서 노드/에지 수와 메모리 사용량을 약 ~2.1배 감소시키고, E(3)-불변 GNN의 정확도 손실이 없다.
• k-NN 엣지 선택에서 k=24일 때 그래프가 강한 예측 성능을 달성하며; Voronoi 기반 엣지도 가능하지만 연결성이 다르게 나타난다.
• 연결 최적화가 적용된 coGN 모델은 여러 MatBench 구조 데이터셋에서 최첨단 결과를 달성하고, 다수의 이전 모델을 능가한다.
• NGN은 더 깊은 엣지 업데이트와 선그래프 기반 각도 정보를 제공하여 일부 변형에서 작고 일관된 개선을 제공하지만, 최적화된 연결성을 갖춘 일반 GN은 여러 작업에서 NGN 구성과 동등하거나 더 나은 성능을 낼 수 있다.
• log_gvrh에서 최적 성능은 하이퍼파라미터 최적화를 통해 DimeNet 유사(DimeNet-유사 아키텍처의 Variant 2)로 달성되었으며, 아키텍처 선택과 연결성이 상호 작용하여 이득을 결정함을 시사한다.
• NGN 학습은 라인그래프 구성과 더 큰 매개변수 수로 인해 계산적으로 더 무겁고, 중첩 깊이와 연결성 사이의 균형을 필요로 한다.

(b) Radius Edges