[논문 리뷰] Reinforced Molecular Optimization with Neighborhood-Controlled Grammars

Chencheng Xu, Qiao Liu외 2명|arXiv (Cornell University)|2020. 11. 14.

Computational Drug Discovery Methods참고 문헌 2인용 수 15

한 줄 요약

이 논문은 화학적으로 타당한 분자를 원하는 성질을 가질 수 있도록 생성하기 위해 이웃 제어 임베딩 문법을 사용하는 강화학습 프레임워크인 MNCE-RL을 제안한다. 유추된 문법을 통해 분자 그래프를 구문 분석 트리로 변환하고, 그래프 컨volution 네트워크 기반 정책 네트워크를 적용함으로써, 성능 평가 횟수가 극히 적은 조건에서도 기존 방법들보다 뛰어난 성능을 달성하며, 유효성과 성질 최적화 효율성 측면에서 모두 최신 기술 수준을 초월한다.

ABSTRACT

A major challenge in the pharmaceutical industry is to design novel molecules with specific desired properties, especially when the property evaluation is costly. Here, we propose MNCE-RL, a graph convolutional policy network for molecular optimization with molecular neighborhood-controlled embedding grammars through reinforcement learning. We extend the original neighborhood-controlled embedding grammars to make them applicable to molecular graph generation and design an efficient algorithm to infer grammatical production rules from given molecules. The use of grammars guarantees the validity of the generated molecular structures. By transforming molecular graphs to parse trees with the inferred grammars, the molecular structure generation task is modeled as a Markov decision process where a policy gradient strategy is utilized. In a series of experiments, we demonstrate that our approach achieves state-of-the-art performance in a diverse range of molecular optimization tasks and exhibits significant superiority in optimizing molecular properties with a limited number of property evaluations.

연구 동기 및 목표

• 성능 평가가 비용이 많이 들고 제한된 조건에서 특정 원하는 성질을 가진 화학적으로 타당한 분자를 생성하는 데 도전하는 것.
• SMILES 기반 생성 방식의 취약성과 유효성 문제를 해결하기 위해 그래프 기반 분자 표현 방식을 사용하는 것.
• 문법 유도 기반 강화학습 프레임워크를 통해 광범위한 화학 공간을 효율적으로 탐색할 수 있도록 하는 것.
• 큰 규모의 레이블이 부여된 분자 데이터셋에 의존하지 않고도, 적은 성능 평가 횟수로 효과적인 최적화를 가능하게 하는 것.
• 항균 활성 및 logP와 같은 복잡한 실제 화학 성질을 최적화하면서도 높은 화학적 유효성을 유지할 수 있는 방법을 개발하는 것.

제안 방법

• 이 방법은 분자 그래프에서 생산 규칙를 유추함으로써 분자를 구문 분석 트리로 표현하는 분자 이웃 제어 임베딩(NCE) 문법을 도입한다.
• 노드 및 엣지 특징을 갱신하기 위해 그래프 컨볼루션 네트워크(GCN)를 사용하여 미세한 결합 차이를 포착함으로써 정책 학습 성능을 향상시킨다.
• 분자 생성 과정은 마르코프 결정 과정(MDP)으로 모델링되며, 강화학습 에이전트가 생산 규칙를 선택하여 단계적으로 유효한 분자 구조를 생성한다.
• 성능 평가 함수에서 유도된 보상 신호를 사용하여 정책 네트워크를 정책 기반 강화학습 방법으로 학습시키며, 실제 평가가 비용이 많이 들 경우 학습된 분류기나 시뮬레이션을 활용할 수 있다.
• 주어진 분자들로부터 문법적 생산 규칙를 효율적으로 유추하는 알고리즘이 존재하여, 다양한 분자 스케일드에 걸쳐 일반화할 수 있도록 한다.
• 유추된 문법 규칙에만 따르는 구조로 생성을 제한함으로써 화학적 유효성을 보장한다.

실험 결과

연구 질문

• RQ1 문법 기반 접근 방식은 화학적 유효성을 보장하면서도 화학 공간을 효율적으로 탐색할 수 있는가?
• RQ2 성능 평가 횟수가 제한된 상황에서 강화학습 에이전트는 분자 성질을 얼마나 잘 최적화할 수 있는가?
• RQ3 그래프 기반 생성 방법은 SMILES 기반 또는 변분 오토인코더 기반 방법보다 높은 성능 점수를 가진 분자를 생성하는 데서 승리할 수 있는가?
• RQ4 소규모 레이블이 부여된 예시로만 훈련된 경우, 이 방법은 알려진 평가 함수가 없더라도 생물활성 분자를 얼마나 잘 생성할 수 있는가?
• RQ5 GCN에서 엣지 특징 갱신을 통합함으로써 분자 생성 과정에서 정책 결정의 질이 향상되는가?

주요 결과

• MNCE-RL은 성능 평가 횟수가 제한된 조건에서 성질 최적화 작업에서 9.88의 최고 페널티 logP 점수를 기록하여 모든 베이스라인을 압도적으로 뛰어넘었다.
• MNCE-RL이 생성한 상위 50개 분자들은 평균 페널티 logP 점수가 8.31로, 무제한 평가로 훈련된 최고 성능의 베이스라인(MHG-VAE)조차도 뛰어넘었다.
• 항균 성질 생성 작업에서 상위 10개 분자 모두가 키나제, 프로테아제 또는 효소 억제제 점수 0.2 이상을 기록했으며, 6개는 0.5 이상을 기록하여 높은 생물활성을 나타냈다.
• 모든 생성 과정에서 100%의 유효성을 유지하여 후처리 필터링 없이도 모든 분자가 화학적으로 타당함을 보장했다.
• 단지 2,337개의 레이블이 부여된 분자로만 훈련된 상태에서도 높은 예측 생물활성을 가진 분자를 생성하여, 저자료 환경에서도 뛰어난 성능을 보였다.
• 보상 함수가 편향된 분류기일 경우에도 모델 성능이 뛰어나, 불완전한 평가 신호에 대해 뛰어난 내성과 견고성을 보였다.