[논문 리뷰] First Place Solution of KDD Cup 2021 & OGB Large-Scale Challenge Graph Prediction Track.

Chengxuan Ying, Mingqi Yang외 8명|arXiv (Cornell University)|2021. 06. 15.

Advanced Graph Neural Networks참고 문헌 11인용 수 4

한 줄 요약

이 논문은 KDD 컵 2021 OGB-LSC 그래프 예측 트랙에서 우승한 솔루션을 제시하며, 테스트 세트에서 0.1200 MAE를 기록했다. 이 방법은 Graphormer와 ExpC⋆ 모델을 조합하고, RDKit로 계산된 3D 유클리드 거리 및 RBF 임bedded 결합 길이를 포함한 도메인 특화 분자의 특징을 추가하여 향상시켰으며, 8중 교차 검증을 통해 훈련하고 단순 평균화를 통해 앙상블하여 일반화 능력과 성능을 향상시켰다.

ABSTRACT

In this technical report, we present our solution of KDD Cup 2021 OGB Large-Scale Challenge - PCQM4M-LSC Track. We adopt Graphormer and ExpC as our basic models. We train each model by 8-fold cross-validation, and additionally train two Graphormer models on the union of training and validation sets with different random seeds. For final submission, we use a naive ensemble for these 18 models by taking average of their outputs. Using our method, our team MachineLearning achieved 0.1200 MAE on test set, which won the first place in KDD Cup graph prediction track.

연구 동기 및 목표

• 2D 분자의 그래프를 사용하여 분자의 HOMO-LUMO 에너지 간격을 예측하기 위한 고정확도 그래프 신경망 모델을 개발한다.
• RDKit에서 유도한 3D 분자의 구조적 특징을 통합하여 대규모 그래프 회귀에서 일반화 능력을 향상시키고 과적합을 줄인다.
• 대규모 양자화학 그래프 벤치마크인 PCQM4M-LSC 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 그래프 표현 학습에서 모델 앙상블 및 특징 공학의 효과성을 분자의 성질 예측에 입증한다.

제안 방법

• 유클리드 거리를 공간 인코딩 특징으로 사용하여 12층, 768개의 은닉 차원, 32개의 어텐션 헤드를 가진 Graphormer를 사용한다.
• 256개의 기저 기능을 가진 가우시안 RBF 커널을 적용하여 원시 유클리드 거리를 더 일반화 가능한 표현으로 변환한다.
• QM9 데이터에서 캘리브레이션된 라플라스 노이즈를 결합 길이에 추가하여 엣지 특징을 향상시켜 과적합을 줄인다.
• 은닉 차원을 확장한( d′ = 1200) 수정된 ExpC⋆의 버전을 사용하며, 집계 이전에 비선형 활성화를 적용하여 표현 능력을 향상시킨다.
• 훈련 및 검증 세트의 결합을 대상으로 8중 교차 검증을 수행하고, 다양한 랜덤 시드로 전체 훈련+검증 데이터에 대해 추가 훈련을 실시한다.
• 16개의 Graphormer와 2개의 ExpC⋆ 변종을 포함한 총 18개의 모델을 단순 평균화된 예측을 통해 앙상블하여 안정성과 최종 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 그래프 신경망은 3D 분자의 구조적 특징을 어떻게 통합하여 양자화학 성질 예측 작업의 정확도를 향상시킬 수 있는가?
• RQ2 RBF 임베딩된 공간 특징은 그래프 회귀 작업에서 모델의 일반화에 어떤 영향을 미치는가?
• RQ3 다양한 훈련 실행 및 아키텍처를 가진 모델 앙상블은 대규모 분자의 그래프 예측에서 개별 모델을 초월할 수 있는가?
• RQ4 임bedding 드롭아웃과 같은 다양한 초모델 설정이 노드 표현에 민감도가 높은 소규모 분자의 그래프에서 성능에 어떤 영향을 미치는가?
• RQ5 DFT 최적화된 구조에 비해 정확도가 낮은 RDKit가 생성한 3D 좌표는 성능 향상에 얼마나 기여할 수 있는가?

주요 결과

• 최종 모델 앙상블은 테스트 MAE 0.1200을 기록하여 KDD 컵 2021 OGB-LSC 그래프 예측 트랙에서 1등을 차지했다.
• RBF 임베딩된 유클리드 거리와 라플라스 노이즈가 추가된 결합 길이 특징을 사용한 Graphormer 모델은 일반화 능력 향상과 낮은 검증 MAE를 보였다.
• DFT보다 정확도가 낮지만 RDKit에서 유도한 3D 분자의 구조적 특징은 의미 있는 인덕티브 바이어스를 제공하여 모델 성능 향상에 기여했다.
• 기본값 0.1이 아닌 0.0으로 설정한 임베딩 드롭아웃은 분자의 그래프 크기가 작기 때문에 성능 향상에 기여한 것으로 보인다 (중간값 약 15개 원자).
• 다양한 랜덤 시드와 데이터 분할로 훈련된 다수의 Graphormer 및 ExpC⋆ 변종을 포함한 단순 앙상블은 가장 우수한 일반화 능력과 최종 점수를 기록했다.
• 다양한 PyTorch Geometric 버전 간에 모델 출력의 미세한 차이(MAE ≤ 1e-4)가 관찰되어 대규모 머신러닝 실험에서 재현 가능성의 중요성을 강조한다.