[논문 리뷰] Generating valid Euclidean distance matrices

Moritz Hoffmann, Frank Noé|arXiv (Cornell University)|2019. 10. 07.

Machine Learning in Materials Science참고 문헌 44인용 수 37

한 줄 요약

이 논문은 미리 정의된 임베딩 차원으로 유효한 유클리드 거리 행렬(EDM)을 생성하는 신경망 아키텍처를 소개하고, 점 구름 분포를 모델하기 위해 permutation-invariant 비판기를 갖춘 Wasserstein GAN을 사용하며, QM9의 C7O2H10 이성질체에서 시연된다.

ABSTRACT

Generating point clouds, e.g., molecular structures, in arbitrary rotations, translations, and enumerations remains a challenging task. Meanwhile, neural networks utilizing symmetry invariant layers have been shown to be able to optimize their training objective in a data-efficient way. In this spirit, we present an architecture which allows to produce valid Euclidean distance matrices, which by construction are already invariant under rotation and translation of the described object. Motivated by the goal to generate molecular structures in Cartesian space, we use this architecture to construct a Wasserstein GAN utilizing a permutation invariant critic network. This makes it possible to generate molecular structures in a one-shot fashion by producing Euclidean distance matrices which have a three-dimensional embedding.

연구 동기 및 목표

• 회전/병진 불변성을 보장하기 위해 명시적 직교 좌표 없이 유효한 유클리드 거리 행렬을 생성한다.
• EDMs의 분포를 학습하기 위해 GAN 프레임워크, 특히 Wasserstein GAN을 개발한다.
• 점 집합으로 다루는 크리틱에서 순열 불변성을 통합한다.
• QM9 이성질체에 방법을 적용하고 일반화 및 화학적 유효성을 평가한다.

제안 방법

• 대칭적 중공 행렬을 매개화하고 PSD 조건과 J 투영을 이용한 손실로 비-EDM을 페널티 부과하여 EDM 유효성을 강제한다.
• 대칭 행렬 L을 음이 아닌 함수 g로 변환하여 Gram 행렬 M을 얻고, 이를 통해 EDM D를 재구성한다.
• D를 M과 연관시켜 D_{ij}=M_{ii}+M_{jj}-2M_{ij}로 표현하고 고유값 기반 페널티를 통해 랭크를 제한하여 임베딩 차원을 강제한다.
• SchNet 기반의 크리틱이 작동하는 쌍 간 거리 위주의 Wasserstein GAN을 학습시켜 EDM의 순열-불변 평가를 달성한다.
• 생성기에서 소프트플러스 기반 재매개변화를 적용하여 양의 준정합성을 보장하고 랭크(임베딩 차원)를 제어하며 EDM 구조를 강제한다.
• 모델을 확장하여 원자 종류 정보를 포함시키고 학습 중 유형에 대한 교차 엔트로피 손실, 조화적 반발, EDM 특화 페널티 등 추가 손실을 적용한다.

실험 결과

연구 질문

• RQ1 신경망이 직교 좌표 없이 미리 정의된 임베딩 차원으로 유효한 EDM을 생성할 수 있는가?
• RQ2 순열 불변 크리틱이 EDM의 분포를 분자 기하에 대응하도록 학습할 수 있는가?
• RQ3 EDM 기반 생성이 QM9 내 미확인 분자 및 이성질체에 대해 얼마나 잘 일반화되는가?
• RQ4 학습 데이터와 비교해 생성된 분자의 토폴로지 및 구도 다양성은 얼마나 되는가?
• RQ5 생성된 구조가 Relaxation 후 에너지가 합리적인가?

주요 결과

• 본 방법은 3D 공간에 내재된 점 구를 나타내는 EDM을 생성하여 회전 및 병진 불변의 표현을 제공한다.
• SchNet 크리틱이 포함된 WGAN은 QM9 분자의 일부( C7O2H10 이성질체 )에 대한 EDM 분포를 학습하고 학습 세트를 넘어 일반화할 수 있다.
• 생성 샘플은 쌍 간 거리 분포가 질적으로 올바르고 QM9 에너지 범위 내로 조정될 수 있다.
• 생성 샘플의 일부는 기본적인 유효성 테스트(결합, 원자 수 허용 범위 등)를 통과하고 SMILES로 표현 가능하여 토폴로지 다양성을 시사한다.
• 구조 분석에서 QM9 부분 집합 외에도 다수의 고유한 구성이 확인되며 새로운 토폴로지와 구성이 포함된다.
• Relaxed 생성 구조의 에너지는 QM9 데이터베이스의 에너지 범위(-1586 ~ -1581 eV)와 동일한 범위에 있다.
• 생성 예시 중 QM9 구조에 근접한 경우와 데이터베이스에 없는 새로운 분자들도 포함되어 있다.