[논문 리뷰] Decoding Molecular Graph Embeddings with Reinforcement Learning

Steven Kearnes, Li Li외 1명|arXiv (Cornell University)|2019. 04. 18.

Machine Learning in Materials Science참고 문헌 23인용 수 30

한 줄 요약

이 논문은 강화학습 기반 디코딩을 통해 잠재 표현에서 화학적으로 타당한 분자 그래프를 생성하는 그래프-투-그래프 변동형 오토인코더인 RL-VAE를 소개한다. 마코프 결정 과정(MDP) 기반 디코더를 사용하고 잠재 코드에 조건부로 된 가치 함수를 적용함으로써, 이 모델은 QM9 테스트 세트에서 67%의 재구성 정확도를 달성한다. 이는 강화학습 기반 디코딩이 화학적으로 타당한 분자 생성과 연속적이고 최적화 가능한 잠재 공간을 동시에 가능하게 한다는 것을 보여준다.

ABSTRACT

We present RL-VAE, a graph-to-graph variational autoencoder that uses reinforcement learning to decode molecular graphs from latent embeddings. Methods have been described previously for graph-to-graph autoencoding, but these approaches require sophisticated decoders that increase the complexity of training and evaluation (such as requiring parallel encoders and decoders or non-trivial graph matching). Here, we repurpose a simple graph generator to enable efficient decoding and generation of molecular graphs.

연구 동기 및 목표

• 변동형 오토인코더에서 연속적인 잠재 표현으로부터 화학적으로 타당한 분자 그래프를 생성하는 데 도전하는 것.
• 오토인코더 기반의 잠재 공간 최적화와 타당한 분자를 생성하는 생성 모델 간의 격차를 메우는 것.
• 분자 설계에서 연속적이고 미분 가능한 최적화를 가능하게 하면서도 디코딩 과정에서 구조적 타당성을 보장하는 것.
• 강화학습이 그래프 구조의 분자 데이터에 대해 효과적이고 확장 가능한 디코더로 기능할 수 있는지 탐색하는 것.

제안 방법

• 모델은 메시지 전달 신경망(MPNN) 인코더를 사용하여 분자 그래프를 평균 μ와 로그 분산 Σ로 파arameterized된 잠재 분포로 매핑한다.
• 학습된 분포에서 잠재 벡터를 샘플링하고, 상태 가치 함수를 근사하기 위해 더블 Q-학습을 통해 훈련된 강화학습 에이전트를 사용하여 디코딩한다.
• 디코더는 마코프 결정 과정(MDP)으로 작동하며, 단계별로 분자를 구성하며, 화학적 타당성을 보장하기 위해 행동을 제한한다(예: 고리 내에서 삼중 결합 형성 또는 결합 제거 금지).
• 가치 함수는 현재 그래프 상태와 목표 분자의 잠재 표현에 조건부로 설정되어 정책 학습을 통한 재구성 가능성을 보장한다.
• 경험 재생 버퍼는 20단계의 에피소드에서 발생한 경험 전이를 저장하며, 경험 재생에는 배치 크기 128을, 에피소드 롤아웃에는 8을 사용한다.
• MDP는 결합 제거 또는 잘못된 고리 형성과 같은 비타당한 행동을 금지함으로써 모든 생성된 분자가 화학적으로 타당함을 보장한다.

실험 결과

연구 질문

• RQ1 강화학습 기반 디코더는 분자 그래프 생성에서 높은 재구성 정확도를 달성하면서도 화학적 타당성을 유지할 수 있는가?
• RQ2 VAE가 학습한 잠재 공간은 분자 구조 간의 매끄럽고 연속적인 보간을 지원하는가?
• RQ3 그래프 생성에서 시간 차분 학습을 통한 Q-함수 예측 방식이 전통적인 오토인코딩 목표 함수와 비교해 어떻게 다를까?
• RQ4 목표 분자의 잠재 표현에 기반해 RL 디코더를 조건화하는 것이 재구성 성능 향상에 얼마나 기여하는가?

주요 결과

• RL-VAE는 QM9 테스트 세트에서 67%의 재구성 정확도를 달성했으며, 랜덤 워크(0.00%) 및 게으른 디코딩(0.03%)와 같은 기준 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 재구성이 정확하지 않을 경우 입력과 출력 분자 간의 Tanimoto 유사도가 급격히 감소하여, 분자 유사도 측정에 SMILES 등가성 대신 MDP 에디트 거리가 더 정보적인 지표임을 시사한다.
• MDP 기반 디코더는 결합 제거 또는 고리 내 삼중 결합 형성과 같은 비타당한 행동을 금지함으로써 화학적으로 타당한 분자를 보장한다.
• 잠재 공간 탐색 결과, 잠재 공간 내 코사인 거리가 증가할수록 분자 유사도가 감소함을 확인하여 잠재 공간 내 국소적인 매끄러움이 있음을 시사한다.
• 할인 인자 γ=0.99를 사용한 모델이 γ=0인 경우보다 유의미하게 높은 성능을 보였으며, 이는 RL 디코더에서 장기적 보상 설계의 중요성을 확인한다.
• GVAE(51%)를 능가하고 JT-VAE(74%)에 가까운 성능을 기록하여, 더 단순하고 효율적인 디코딩 메커니즘으로도 경쟁 가능한 재구성 성능를 확보했다.