[논문 리뷰] Data-Driven Approach to Encoding and Decoding 3-D Crystal Structures

Jordan Hoffmann, Louis Maestrati외 4명|arXiv (Cornell University)|2019. 09. 03.

Machine Learning in Materials Science참고 문헌 46인용 수 24

한 줄 요약

이 논문은 원자 위치에서 유도된 연속적인 3D 밀도 표현을 사용하여 3D 결정 구조를 인코딩하고 디코딩하는 데이터 기반 딥러닝 프레임워크를 제안한다. 120,000개의 회전된 결정 격자 세포를 대상으로 3D 컨볼루션 네트워크를 사용해 오토에인코드를 훈련시킴으로써, 정확한 재구성, 보간, 조건부 생성이 가능한 부드럽고 연속적인 잠재 공간을 학습한다. 이는 기하학적 및 조성적 특성을 제어할 수 있는 분자의 생성을 가능하게 한다.

ABSTRACT

Generative models have achieved impressive results in many domains including image and text generation. In the natural sciences, generative models have led to rapid progress in automated drug discovery. Many of the current methods focus on either 1-D or 2-D representations of typically small, drug-like molecules. However, many molecules require 3-D descriptors and exceed the chemical complexity of commonly used dataset. We present a method to encode and decode the position of atoms in 3-D molecules from a dataset of nearly 50,000 stable crystal unit cells that vary from containing 1 to over 100 atoms. We construct a smooth and continuous 3-D density representation of each crystal based on the positions of different atoms. Two different neural networks were trained on a dataset of over 120,000 three-dimensional samples of single and repeating crystal structures, made by rotating the single unit cells. The first, an Encoder-Decoder pair, constructs a compressed latent space representation of each molecule and then decodes this description into an accurate reconstruction of the input. The second network segments the resulting output into atoms and assigns each atom an atomic number. By generating compressed, continuous latent spaces representations of molecules we are able to decode random samples, interpolate between two molecules, and alter known molecules.

연구 동기 및 목표

• 기하학적 정보와 원자 조성 정보를 모두 포괄하는 연속적이고 미분 가능한 3D 결정 구조 표현을 개발하기 위해.
• 1D 또는 2D 분자 표현의 범위를 초월해 최대 100개 이상의 원자를 포함하는 복잡한 3D 결정 격자 세포의 생성 모델링을 가능하게 하기 위해.
• 보간, 조건부 생성, 특성 제어를 지원하는 분리된 연속적인 잠재 공간을 학습하기 위해.
• 학습된 잠재 표현이 원자 종류와 공간 배치를 제어할 수 있는 물리적으로 타당한 3D 구조를 생성하는 데 사용될 수 있음을 입증하기 위해.

제안 방법

• 결정 격자 세포 내 원자 위치에서 연속적이고 부드러운 전자 밀도의 대체 표현을 사용해 3D 밀도 필드 표현을 구성하기 위해.
• 120,000개의 증강된 샘플(회전된 격자 세포)을 대상으로 3D 컨볼루션 오토에인코드를 훈련시어 압축된 연속적인 잠재 공간을 학습하기 위해.
• 잠재 표현을 원자 종류로 디코딩하기 위해 별도의 세그멘테이션 헤드를 사용하여 예측된 밀도 피크에 원자 번호를 할당하기 위해.
• 일반화 능력 향상과 방향에 대한 모델의 불변성을 확보하기 위해 무작위로 회전시킨 데이터 증강 기법을 적용하기 위해.
• 최대 원자 종류를 조건부로 설정하기 위해 브로드밴드 레이어를 최대 밀도 값으로 조절함으로써 생성 과정을 조절하기 위해.
• 잠재 공간에서의 확률적 샘플링과 보간을 가능하게 하기 위해 VAE 기반 아키텍처를 활용하기 위해.

실험 결과

연구 질문

• RQ1 학습된 3D 밀도 표현은 최대 100개의 원자를 포함하는 격자 세포의 기하학적 및 조성적 복잡성을 효과적으로 인코딩할 수 있는가?
• RQ2 학습된 잠재 공간은 새로운 결정 구조의 의미 있는 보간과 제어된 생성을 지원하는가?
• RQ3 모델은 실제 결정에서 관찰되는 원자 간 거리 분포를 유지하는 물리적으로 타당한 3D 구조를 생성할 수 있는가?
• RQ4 특정 화학적 특성, 예를 들어 중량 원자 없음 등의 조건에 얼마나 잘 조절될 수 있는가?
• RQ5 기하학적 정밀도와 화학적 타당성 측면에서 생성된 구조가 실제 결정 구조와 얼마나 유사한가?

주요 결과

• 모델은 다양한 격자 세포 기하학적 형태를 고려하여 원자 간 공간 배치를 유지하면서 높은 정밀도로 3D 결정 구조를 재구성한다.
• 학습된 잠재 공간 내 보간은 분자의 구조 간 매끄러운 전이를 만들어내어 연속적이고 의미 있는 표현임을 시사한다.
• 잠재 공간에서의 무작위 샘플링은 히스토그램 분석을 통해 실제와 유사한 원자 간 거리 분포를 유지하는 타당한 3D 밀도 필드를 생성한다.
• 브로드밴드 레이어를 조절함으로써 조건부 생성을 가능하게 하여 최대 원자 번호를 제어할 수 있으며, 이는 목표 지향적 설계 능력을 입증한다.
• 모델은 척도 불변성 생성을 가능하게 한다: 잠재 변수를 변경해도 분자의 기하학적 형태가 왜곡되지 않는다.
• DFT 최적화가 가능한 구조 생성에 한계가 있음에도 불구하고, 이 프레임워크는 향후 등변성 아키텍처와 기저 원자 배치의 미분 가능성을 고려한 3D 분자 생성 연구에 강력한 기반을 제공한다.