[논문 리뷰] E(n) Equivariant Normalizing Flows

Victor García Satorras, Emiel Hoogeboom외 3명|arXiv (Cornell University)|2021. 05. 19.

Machine Learning in Materials Science참고 문헌 42인용 수 7

한 줄 요약

이 논문은 3차원 분자의 구조를 모델링하기 위해 E(n)-동치성 그래프 신경망(EGNN)을 역동성 함수로 활용하는 연속 시간 정규화 흐름(E-NFs)을 소개한다. E-NFs는 3차원 분자 구조의 가역적이고 동치성 있는 변환을 모델링하며, 입자 시스템과 분자에서 최고 수준의 로그우도 성능을 달성한다. QM9에서 안정적인 분자 비율은 4.9%, 신규성은 93.28%를 기록하여 이전의 동치성 및 비동치성 생성 모델을 능가한다.

ABSTRACT

This paper introduces a generative model equivariant to Euclidean symmetries: E(n) Equivariant Normalizing Flows (E-NFs). To construct E-NFs, we take the discriminative E(n) graph neural networks and integrate them as a differential equation to obtain an invertible equivariant function: a continuous-time normalizing flow. We demonstrate that E-NFs considerably outperform baselines and existing methods from the literature on particle systems such as DW4 and LJ13, and on molecules from QM9 in terms of log-likelihood. To the best of our knowledge, this is the first flow that jointly generates molecule features and positions in 3D.

연구 동기 및 목표

• 3차원 분자 데이터에 대해 유클리드 대칭성(회전, 이동, 반사)에 대해 동치성이 되는 생성 모델을 개발하기 위해.
• 원자 위치와 특징을 모두 고려할 때, 강력하고 안정적이며 동치성 있는 정규화 흐름이 부족한 문제를 해결하기 위해.
• 안정적인 학습 동역학을 갖춘 연속 시간 정규화 흐름 프레임워크에 EGNN를 통합함으로써 샘플 품질과 우도를 향상시키기 위해.
• 단일한 가역적이고 미분 가능한 흐름을 통해 원자 특징과 3차원 좌표를 동시에 생성하기 위해.

제안 방법

• E-NFs는 동역학이 E(n)-동치성 EGNN로 파arameter화된 연속 시간 정규화 흐름을 사용하여 유클리드 변환에 대해 동치성이 보장된다.
• ODE 기반 흐름에서 도함수로 사용될 때 안정성을 확보하기 위해 EGNN에 수정된 잔차 연결과 정규화를 적용한다.
• 자기상관행렬의 추정을 히 Hutchinson 추정법을 사용하여 연속 시간의 변수변환 공식을 적용한다.
• 이산 원자 특징을 연속 공간으로 올리기 위해 탈양자화(Dequantization)를 적용하여 미분 가능한 모델링을 가능하게 한다.
• 연속 시간의 변수변환 공식을 통해 우도 최대화 기반으로 학습을 수행하며, 학습 안정성을 향상시키기 위해 정규화를 적용한다.
• 생성된 분자를 RDKit를 사용해 3차원 좌표를 SMILES 표기법으로 변환하여 타당성, 유일성, 신규성을 평가한다.

실험 결과

연구 질문

• RQ1 3차원에서 원자 위치와 특징을 동시에 생성하면서도 전체 E(n) 군(회전, 이동, 반사)에 대해 동치성이 되는 정규화 흐름을 설계할 수 있는가?
• RQ2 로그우도 및 분자 안정성 측면에서 E-NF의 성능은 비동치성 및 기존의 동치성 생성 모델과 비교해 어떻게 되는가?
• RQ3 QM9에서 훈련된 E-NFs는 화학적으로 타당하고 새로운 분자 구조를 어느 정도의 비율로 생성할 수 있는가?
• RQ4 E(n) 동치성은 생성된 3차원 분자 구조의 품질과 다양성에 어떤 영향을 미치는가?
• RQ5 후처리 또는 필터링 없이 한 번의 생성 과정으로 안정적인 분자를 생성할 수 있는가?

주요 결과

• E-NFs는 DW4, LJ13, QM9 데이터셋에서 최고 수준의 로그우도 성능을 달성하며, 비동치성 및 기존의 동치성 기준 모델을 크게 능가한다.
• QM9 데이터셋에서 E-NFs는 4.9%의 안정적 분자를 생성하였고, 최고의 기준 모델 대비 0.5%에 불과한 것과 비교해 상당한 안정성 향상을 보였다.
• 안정적인 분자 중 99.80%는 유일하고 93.28%는 새로운 것으로 나타나 생성된 분자 구조의 높은 다양성과 독창성을 보였다.
• 모델은 평균적으로 85%의 타당한 원자를 생성하였으며, 최고의 기준 모델이 75%였던 것과 비교해 원자 수준의 정확성이 향상됨을 보였다.
• 계산 비용이 높음에도 불구하고 대부분의 학습 런에서 안정성을 유지하였으며, QM9 실험에서 세 번째 실험에서 희박하게 발산 이벤트가 관찰되었다.
• 정성적 샘플 분석 결과, 일부 생성된 분자에서 경량 구조 오류(예: 잘못된價수 또는 결합성)가 관찰되었지만, 안정적인 분자들은 대부분 화학적으로 정확하며 이중 결합, 삼중 결합 등의 올바른 결합 패턴을 포함하고 있었다.