[논문 리뷰] Equivariant Graph Hierarchy-Based Neural Networks

Jiaqi Han, Wenbing Huang외 2명|arXiv (Cornell University)|2022. 02. 22.

Protein Structure and Dynamics인용 수 6

한 줄 요약

이 논문은 등변 그래프 신경망을 향상시키기 위해 일반화된 등변 행렬 메시지 전달(EMMP), 유클리드 대칭성을 유지하면서 노드 특징을 군집화하는 E-Pool, 그리고 고차원 동역학을 활용해 저수준 표현을 정밀화하는 E-UnPool를 도입한 계층적 메시지 전달 프레임워크인 등변 그래프 계층 구조 기반 신경망(EGHN)을 제안한다. EGHN은 단백질 동역학, 운동 캡처, 합성 N체 시뮬레이션을 포함한 다체 물리 시스템에서 최신 기준 성능을 달성하며, 대칭성 유지 계층을 통해 정확도 향상과 부분 구조 탐지 능력을 향상시킨다.

ABSTRACT

Equivariant Graph neural Networks (EGNs) are powerful in characterizing the dynamics of multi-body physical systems. Existing EGNs conduct flat message passing, which, yet, is unable to capture the spatial/dynamical hierarchy for complex systems particularly, limiting substructure discovery and global information fusion. In this paper, we propose Equivariant Hierarchy-based Graph Networks (EGHNs) which consist of the three key components: generalized Equivariant Matrix Message Passing (EMMP) , E-Pool and E-UpPool. In particular, EMMP is able to improve the expressivity of conventional equivariant message passing, E-Pool assigns the quantities of the low-level nodes into high-level clusters, while E-UpPool leverages the high-level information to update the dynamics of the low-level nodes. As their names imply, both E-Pool and E-UpPool are guaranteed to be equivariant to meet physic symmetry. Considerable experimental evaluations verify the effectiveness of our EGHN on several applications including multi-object dynamics simulation, motion capture, and protein dynamics modeling.

연구 동기 및 목표

• 기존 등변 그래프 신경망(EGN)에서 평탄한 메시지 전달 방식의 한계를 해결하여 복잡한 다체 시스템 내 공간적 및 운동적 계층성을 포착하지 못하는 문제를 해결한다.
• 유클리드 등변성을 유지하면서 단백질 이차 구조나 강체 기계 부품과 같은 물리 시스템의 하위 구조를 엔드 투 엔드로 학습할 수 있도록 한다.
• 이동, 회전, 반사에 대해 등변성을 유지하는 메시지 전달 메커니즘을 설계하여 다양한 척도 간 물리적 일관성을 확보한다.
• 대칭 풀링 및 언풀링을 통해 인코더-디코더 구조로 네트워크를 구성함으로써 전역 정보 융합과 국소 동역학 모델링을 향상시킨다.
• 실제 및 합성 물리 시스템 모델링 과제에서 계층적 설계, 등변성, 전용 메시지 전달의 필요성과 효과를 검증한다.

제안 방법

• 기존의 벡터 기반 메시지 전달 방식을 확장하여 매트릭스 기반 메시지 전달을 가능하게 하는 일반화된 등변 행렬 메시지 전달(EMMP)을 제안한다. 이는 표준 EGN보다 더 높은 표현력을 제공한다.
• 학습된 어텐션 기반으로 저수준 노드를 군집화하는 기울기 가능하고 E(n)-등변성 보장 풀링 레이어인 E-Pool을 도입한다. 이는 기하학적 대칭성을 유지한다.
• 어텐스 및 역군집화를 이용해 풀링된 고수준 표현에서 세밀한 노드 특징을 재구성하는 대칭적 언풀링 연산인 E-UnPool을 설계한다.
• EMMP에서 내부(국소) 및 외부(전역) 메시지 전달을 위한 별도의 인접 행렬을 사용하여 군집 내 및 군집 간 상호작용을 별도로 모델링할 수 있도록 한다.
• 학습 중에 연결성 손실를 사용하여 E-Pool이 군집 내 연결을 유지하고 군집 간 간선을 억제하도록 유도함으로써 구조적 일관성을 향상시킨다.
• EGHN을 인코더-디코더 프레임워크로 아키텍처화한다. 인코더는 E-Pool과 EMMP를 적용하여 세밀한 스케일에서 거친 스케일로 전이하고, 디코더는 E-UnPool과 EMMP를 사용하여 세밀한 스케일의 동역학을 재구성한다.

실험 결과

연구 질문

• RQ1 EGN에서 평탄한 메시지 전달 방식에 비해 계층적 메시지 전달이 복잡한 물리 시스템 모델링에 어떻게 기여하는가?
• RQ2 풀링 및 언풀링 연산에서 E(n)-등변성을 유지할 경우 다체 운동역학에서 일반화 능력과 물리적 일관성은 어느 정도 향상되는가?
• RQ3 매트릭스 기반 메시지 전달 방식인 EMMP의 기여도는 벡터 기반 대비 상위 구조적 복잡성과 동역학 복잡성을 얼마나 잘 포착하는가?
• RQ4 EMMP에서 전역 및 국소 인접 행렬을 별도로 사용할 경우 성능 및 구조 학습에 어떤 영향을 미치는가?
• RQ5 연결성 손실 및 군집 수(K)는 하위 구조 탐지 품질과 예측 정확도에 어떤 영향을 미치는가?

주요 결과

• M-complex 시스템 벤치마크에서 EGHN은 기준 EGN보다 예측 오차가 유의미하게 낮아 계층적 물리 시스템에서 뛰어난 일반화 능력과 동역학 모델링 성능을 입증한다.
• 인간 운동 캡처 데이터셋에서 EGHN은 주제 #35의 걷기 동작에서 8.5 MSE (×10⁻²)를 기록하고 달리기 동작에서는 25.9 MSE를 기록하여 EGNN 및 MPNN를 포함한 모든 기준 모델을 능가한다.
• 단백질 동역학 시나리오에서 EGHN은 알파-헬릭스의 접힘 과정을 정확히 추적하며, 시각적 결과에서 MPNN 및 EGNN보다 지표값에서 훨씬 적은 이격을 보였다.
• 절단 실험 결과, 등변성을 제거한 비등변 MPNN를 사용할 경우 오차가 19.7 MSE로 증가하여 등변성이 성능 향상에 필수적임을 입증한다.
• 계층적 설계를 제거한 경우 오차가 21.9 MSE로 증가하여 계층적 설계가 복잡한 운동학적 구조 모델링에 있어 핵심임을 확인한다.
• 모든 EMMP 레이어에 대해 단일 인접 행렬을 사용할 경우 국소 및 전역 메시지 전달을 구분하지 않아 성능이 크게 저하됨을 확인하여 범위 인식 메시지 전달의 중요성을 입증한다.