[논문 리뷰] E(n) Equivariant Graph Neural Networks

Victor García Satorras, Emiel Hoogeboom외 1명|arXiv (Cornell University)|2021. 02. 19.

Machine Learning in Materials Science참고 문헌 37인용 수 105

한 줄 요약

EGNN은 구면 조화에 의존하지 않고 좌표와 특징을 업데이트하여 평행이동, 회전, 반사 및 순열 등등의 등각성을 보존하는 E(n)-등각 그래프 신경망을 소개하며, 더 높은 차원으로의 확장을 가능하게 한다.

ABSTRACT

This paper introduces a new model to learn graph neural networks equivariant to rotations, translations, reflections and permutations called E(n)-Equivariant Graph Neural Networks (EGNNs). In contrast with existing methods, our work does not require computationally expensive higher-order representations in intermediate layers while it still achieves competitive or better performance. In addition, whereas existing methods are limited to equivariance on 3 dimensional spaces, our model is easily scaled to higher-dimensional spaces. We demonstrate the effectiveness of our method on dynamical systems modelling, representation learning in graph autoencoders and predicting molecular properties.

연구 동기 및 목표

• E(n) 변환(회전, 평행이동, 반사) 및 순열에 대해 등각인 그래프 신경망을 동기 부여하고 설계한다.
• 비용이 큰 고차 표현을 피하면서도 경쟁력 있는 성능을 유지한다.
• 동역학 시스템, 그래프 오토인코더 및 QM9의 분자 특성 예측 전반에서 효과를 입증한다.
• 차원 수가 3을 넘는 공간으로 확장 가능성을 보여주고 기존 등각 방법과 비교한다.

제안 방법

• 노드 특징 h^l, 좌표 x^l, 에지 정보 E를 처리하는 등각 그래프 합성 계층(EGCL)을 도입한다.
• Edge 업데이트는 m_{ij} = φ_e(h_i^l, h_j^l, ||x_i^l - x_j^l||^2, a_{ij})를 사용한다.
• Coordinate updates are x_i^{l+1} = x_i^l + C sum_{j≠i} (x_i^l - x_j^l) φ_x(m_{ij}) with C = 1/(M-1).
• Aggregate messages to form m_i = sum_j m_{ij} and update node features h_i^{l+1} = φ_h(h_i^l, m_i).
• Optionally extend with particle momentum: v_i^{l+1} = φ_v(h_i^l) v_i^{init} +… and x_i^{l+1} = x_i^l + v_i^{l+1}.
• Include a mechanism to infer edges when adjacency is not provided via φ_inf to produce soft edge values.]

실험 결과

연구 질문

• RQ1 EGNN이 구면 조화나 고차 표현 없이도 E(n) 등각성(반사를 포함한 SE(3))을 달성할 수 있는가?
• RQ2 동역학, 자동인코딩 및 분자 작업 전반에서 비등각성 GNN과 기존 E(3)-등각 모델에 비해 성능을 유지하거나 향상시키는가?
• RQ3 3D를 넘는 고차원 공간으로 확장 가능하면서도 계산 효율성을 유지하는가?
• RQ4 에지와 노드 업데이트에서 좌표와 특징 메시지를 통합하는 것이 데이터 효율성과 예측 정확도에 어떻게 영향을 미치는가?
• RQ5 명시적 그래프 없이 실시간으로 에지를 추론하고도 등각성을 보존할 수 있는가?

주요 결과

• EGNN은 비등각 GNN 및 일부 등각 기준선에 비해 동역학 N-체계 작업, 그래프 자동인코딩, QM9 분자 예측에서 경쟁력 있거나 우수한 성능을 달성한다.
• 3D 전하 입자 N-체계 데이터셋에서, EGNN은 나열된 방법 중 가장 낮은 MSE(0.0071)를 달성하고 다수의 비용이 높은 등각 모델보다 더 빠르다.
• 모델은 평행이동, 회전, 반사에 대해 E(n) 등각성을 유지하며 구면 조화에 의존하지 않고 고차원으로 확장 가능하다.
• 그래프 자동인코더 설정에서 EGNN은 GNN 변형들보다 에지 재구성 지표를 크게 향상시키고 평행이동/회전 등각성 방식으로 대칭성 파손 노이즈를 처리한다.
• QM9 벤치마크에서 EGNN은 분자 특성에 대해 경쟁력 있는 평균 절대 오차를 달성하고 핵심 지표에서 여러 기준선을 능가한다(예: α에 대해 MAE ≈ 0.071).
• EGNN은 인접성이 제공되지 않을 때 그래프 연결성을 학습하는 에지 추론 메커니즘을 지원하며 E(n) 등각성을 보존한다.