[논문 리뷰] Benchmarking Graphormer on Large-Scale Molecular Modeling Datasets

Yu Shi, Shuxin Zheng외 8명|arXiv (Cornell University)|2022. 03. 09.

Machine Learning in Materials Science인용 수 24

한 줄 요약

이 기술 노트는 Graphormer를 아키텍처 튜닝과 3D 적응으로 업데이트하여 대규모 분자 데이터 세트에서 더 강한 성능을 달성하고, 글로벌 어텐션이 기존 GNN보다 표현력에서 우수할 수 있음을 입증합니다.

ABSTRACT

This technical note describes the recent updates of Graphormer, including architecture design modifications, and the adaption to 3D molecular dynamics simulation. With these simple modifications, Graphormer could attain better results on large-scale molecular modeling datasets than the vanilla one, and the performance gain could be consistently obtained on 2D and 3D molecular graph modeling tasks. In addition, we show that with a global receptive field and an adaptive aggregation strategy, Graphormer is more powerful than classic message-passing-based GNNs. Empirically, Graphormer could achieve much less MAE than the originally reported results on the PCQM4M quantum chemistry dataset used in KDD Cup 2021. In the meanwhile, it greatly outperforms the competitors in the recent Open Catalyst Challenge, which is a competition track on NeurIPS 2021 workshop, and aims to model the catalyst-adsorbate reaction system with advanced AI models. All codes could be found at https://github.com/Microsoft/Graphormer.

연구 동기 및 목표

• Graphormer 변형이 대규모 분자 특성 예측 작업에서 어떻게 성능을 보이는지 조사합니다.
• 층 정규화 배치와 같은 아키텍처 선택이 모델 일반화에 미치는 영향을 평가합니다.
• 공간(distance) 및 중심성 인코딩을 포함한 3D 분자 그래프에 Graphormer를 확장합니다.
• 에너지 예측 정확도를 위해 OC20과 같은 3D 분자 데이터 세트에서 Graphormer를 평가합니다.
• 분산 컴퓨팅 개념을 통해 Graphormer 표현력에 대한 이론적 통찰을 제공합니다.

제안 방법

• PCQM4M v1 및 v2 데이터셋에서 Graphormer 내 Pre-LN 대 Post-LN Transformer 변형을 비교합니다.
• 깊이 영향 평가를 위해 Graphormer를 24 레이어 및 1024 은닉 유닛으로 확장합니다.
• 회전 등방성을 위한 3D 주공간 및 중심성 인코딩과 3D 어텐션 레이어를 사용하도록 Graphormer를 적응합니다.
• 공간 인코딩에서 유클리드 거리를 인코딩하기 위해 가우시안 기저 함수를 적용합니다.
• 정밀도 향상을 위해 반복 출력을 갖는 OC20 전기촉매 데이터세트에서 평가하고 보조 노드 수준 목표를 추가합니다.
• 전역 수용 필드의 이점을 설명하기 위해 CONGEST 대 CONGESTED CLIQUE 모델을 사용한 표현력에 대해 논의합니다.

실험 결과

연구 질문

• RQ1 다른 층 정규화 배치(Pre-LN 대 Post-LN)가 대규모 분자 특성 예측에서 Graphormer의 성능에 어떤 영향을 미치나요?
• RQ2 Graphormer를 3D 분자 그래프로 확장하는 것이 OC20와 같은 3D 데이터세트에서 예측 정확도를 향상시키나요?
• RQ3 글로벌 수용 필드를 가진 Graphormer가 분자 그래프에서 전통적인 MPGNN보다 표현력 면에서 우수한가요?
• RQ4 적응적 어텐션과 3D 인코딩이 전기촉매 데이터세트의 에너지 예측에 미치는 영향은 무엇인가요?
• RQ5 2D 및 3D Graphormer 변형이 대규모 분자 모델링 벤치마크(PCQM4M v1/v2 및 OC20)에서 일관되게 일반화되나요?

주요 결과

• 대형 모델의 경우 Post-LN Graphormer 변형이 일반적으로 Pre-LN 변형보다 PCQM4M v1/v2에서 더 나은 일반화를 보입니다.
• 24 계층의 Graphormer가 다른 일반화 동작을 보이며, 추가 튜닝을 통해 일반화를 개선할 가능성을 시사합니다.
• 가우시안 기저를 사용한 공간 거리 및 회전 인식 3D 어텐션으로 3D 분자 모델링 성능이 향상됩니다.
• OC20 에너지 예측에서 Graphormer가 강한 성능을 달성하며, 앙상블 변형이 눈에 띄는 향상을 제공합니다.
• 이론적 프레이밍은 Graphormer의 글로벌 수용 필드가 로컬 MP GNN을 넘어 표현력을 향상시키며, 분산 컴퓨팅 통찰과 일치함을 시사합니다.
• Graphormer는 PCQM4M 데이터셋에서 MAE를 이전 보고서에 비해 크게 줄일 수 있으며 OC20 벤치마크에서 경쟁자를 능가합니다.