[논문 리뷰] Graph Residual Flow for Molecular Graph Generation

Shion Honda, Hirotaka Akita외 3명|arXiv (Cornell University)|2019. 09. 30.

Machine Learning in Materials Science참고 문헌 30인용 수 31

한 줄 요약

이 논문은 분자 그래프 생성을 위한 새로운 역행 가능 플로우 모델인 그래프 잔차 플로우(GRF)를 제안한다. GRF는 그래프 컨volution 네트워크(GCN)와 잔차 플로우를 융합하여 노드 특징을 분할하지 않고도 완전한 역행 가능성(역행성)을 달성한다. GRF는 GraphNVP와 유사한 생성 성능를 달성하면서도 훨씬 적은 학습 가능 파라미터를 사용하여 대규모 분자 그래프에서 효율적이고 메모리 경량의 훈련과 한 번의 생성으로 가능한 생성이 가능하다.

ABSTRACT

Statistical generative models for molecular graphs attract attention from many researchers from the fields of bio- and chemo-informatics. Among these models, invertible flow-based approaches are not fully explored yet. In this paper, we propose a powerful invertible flow for molecular graphs, called graph residual flow (GRF). The GRF is based on residual flows, which are known for more flexible and complex non-linear mappings than traditional coupling flows. We theoretically derive non-trivial conditions such that GRF is invertible, and present a way of keeping the entire flows invertible throughout the training and sampling. Experimental results show that a generative model based on the proposed GRF achieves comparable generation performance, with much smaller number of trainable parameters compared to the existing flow-based model.

연구 동기 및 목표

• 기존의 플로우 기반 모델, 특히 제약적인 특징 분할이 필요한 커팅 플로우 모델의 비효율성과 표현력의 제한을 해결하기 위해.
• 모든 노드 특징을 동시에 복잡하고 비선형적인 변환을 가능하게 하면서도 역행성을 유지하는 플로우 기반 생성 모델을 개발하기 위해.
• 특히 대규모 분자 그래프에서 기존의 역행 가능한 모델들인 GraphNVP에 비해 모델 파라미터와 메모리 사용량을 줄이기 위해.
• 효율적인 한 번의 생성과 성질 지향적 분자 설계를 지원하는 부드럽고 이항(역행성 있는) 잠복 공간을 확보하기 위해.

제안 방법

• GRF는 잔차 플로우와 그래프 컨volution 네트워크(GCN)를 조합하여, 잠복 표현의 서로소 분할 없이도 각 레이어에서 모든 노드 특징을 업데이트할 수 있도록 한다.
• 모델은 각 잔차 블록에 스펙트럴 정규화를 적용하여 역행성을 강제로 보장하며, 자코비안 행렬식이 유한하고 변환이 이항(역행성 있는)이 되도록 한다.
• 접근 행렬 변환에 대해 저랭크 근사(low-rank approximation)를 적용하여 파라미터 수를 줄이면서도 표현력을 유지한다.
• 전체 플로우는 정규화 플로우 목표를 사용하여 엔드 투 엔드로 훈련되며, 변수 변경 공식을 통해 정확한 가능도 계산이 이루어진다.
• 추론과 샘플링은 역함수 매핑을 통해 수행되며, 잠복 코드에서 유효한 분자 그래프를 한 번의 생성으로 생성할 수 있다.
• 이 방법은 표준 GCN과 호환되며, 통합된 프레임워크 내에서 원자 및 결합 유형 특징을 모두 지원한다.

실험 결과

연구 질문

• RQ1 잔차 플로우 아키텍처를 분자 그래프와 같은 그래프 구조 데이터에 적응시킬 수 있는가, 동시에 역행성을 유지할 수 있는가?
• RQ2 특징 분할 없이 모든 노드 특징을 동시에 업데이트하는 플로우 기반 모델에서 역행성이 어떻게 보장될 수 있는가?
• RQ3 기존의 GraphNVP와 같은 모델에 비해 훨씬 적은 파라미터로도 경쟁 가능한 생성 성능를 달성할 수 있는가?
• RQ4 제안된 모델의 학습된 잠복 공간이 부드러운 보간과 한 번의 생성을 통해 화학적으로 타당한 분자를 생성하는 데에 적합한가?

주요 결과

• GRF는 QM9와 ZINC-250k 데이터셋에서 GraphNVP와 유사한 생성 성능를 달성하지만, 모델 크기가 훨씬 작다.
• GRF 모델은 파라미터 수가 O(LR²(N²r + M²))에 불과하며, 여기서 r은 저랭크 근사의 랭크이므로, GraphNVP의 O(LN²R²(N² + M²)) 파라미터 수에 비해 훨씬 메모리 효율적이다.
• 100개 원자를 가진 분자에 대해 배치 크기가 64일 경우, GRF는 약 21GB의 메모리를 소비한다(r=100), 반면 GraphNVP는 약 2100GB가 필요하여 일반 하드웨어에서는 실행이 불가능하다.
• 학습된 잠복 공간은 부드럽고 이항(역행성 있는)이며, 한 번의 생성과 잠복 공간의 변형을 통한 효과적인 분자 성질 탐색이 가능하다.
• 정확한 역행성 덕분에 재구성 정확도가 100%에 도달한다. 이는 VAE 기반 모델이 복원을 여러 번 尝시는 것과는 대조적이다.
• 시각화 결과는 잠복 공간 축을 따라 점진적이고 연속적인 분자 변환을 보여주며, 의미 있고 해석 가능한 잠복 표현임을 시사한다.