[논문 리뷰] Multiple-objective Reinforcement Learning for Inverse Design and Identification

Haoran Wei, Mariefel V. Olarte외 1명|arXiv (Cornell University)|2019. 10. 09.

Computational Drug Discovery Methods참고 문헌 20인용 수 4

한 줄 요약

이 논문은 다중 목적 역분자 설계 및 식별을 위한 커리큘럼 학습 강화 학습 프레임워크를 제안하며, 분자량, 기능기능기 등 최대 21개의 제약 조건을 동시에 만족하는 분자를 생성할 수 있도록 한다. 보다 낮은 학습 수준의 목표를 우선시하도록 보상 함수를 개선함으로써, 모델은 알려지지 않은 분자의 식별에 대해 83–100%의 성공률을 달성하며, 기준 방법에 비해 전적으로 실패하는 것과는 대조적으로 뛰어난 성능을 보인다.

ABSTRACT

The aim of the inverse chemical design is to develop new molecules with given optimized molecular properties or objectives. Recently, generative deep learning (DL) networks are considered as the state-of-the-art in inverse chemical design and have achieved early success in generating molecular structures with desired properties in the pharmaceutical and material chemistry fields. However, satisfying a large number (larger than 10 objectives) of molecular objectives is a limitation of current generative models. To improve the model's ability to handle a large number of molecule design objectives, we developed a Reinforcement Learning (RL) based generative framework to optimize chemical molecule generation. Our use of Curriculum Learning (CL) to fine-tune the pre-trained generative network allowed the model to satisfy up to 21 objectives and increase the generative network's robustness. The experiments show that the proposed multiple-objective RL-based generative model can correctly identify unknown molecules with an 83 to 100 percent success rate, compared to the baseline approach of 0 percent. Additionally, this proposed generative model is not limited to just chemistry research challenges; we anticipate that problems that utilize RL with multiple-objectives will benefit from this framework.

연구 동기 및 목표

• 대규모 분자 성질 제약 조건을 동시에 처리할 수 있는 딥 러닝 프레임워크를 개발하는 것.
• 5개 이상의 목적을 동시에 최적화할 때 생성 모델의 성능 저하 문제를 해결하는 것.
• 강화 학습을 활용한 다중 목적 분자 생성에서의 안정성과 수렴 성능을 향상시키는 것.
• 스펙트럼 및 구조적 제약 조건만으로 알려지지 않은 유기 분자를 정확하게 식별할 수 있도록 하는 것.
• 인간이 설계한 동작에 대한 의존도를 줄이기 위해 제약 조건을 직접적으로 RL 보상 함수에 통합하는 것.

제안 방법

• 프레임워크는 생성적 RNN을 기반으로 훈련된 강화 학습 에이전트를 사용하여 분자를 나타내는 SMILES 문자열을 생성한다.
• 분자량, 기능기능기 등과 같은 제약 조건은 강화 학습 보상 함수의 구성 요소로 인코딩된다.
• 커리큘럼 학습은 훈련을 단계별로 나누어 활성화된 제약 조건의 수를 점진적으로 증가시키는 방식으로 적용된다.
• 약한 학습 수준의 목표를 식별하고 우선순위를 정하기 위해 임계값 기반 선택(ξ = 0.5)을 사용하는 히우리스틱이 도입된다.
• 개선된 제약 함수 C′은 초기 단계에서는 낮은 학습 수준의 제약 조건을 제외하고 후속 단계에서 다시 통합함으로써 국소 최적해에 갇히는 것을 방지한다.
• 모델 평가에는 상위 5개 보상 점수와 목표 분자와의 구조 유사도가 사용된다.

실험 결과

연구 질문

• RQ1 강화 학습 기반 생성 모델이 동시에 10개 이상의 분자 목적을 효과적으로 최적화할 수 있는가?
• RQ2 표준 RL 훈련 대비 커리큘럼 학습이 다중 목적 분자 생성 성능에 어떤 영향을 미치는가?
• RQ3 커리큘럼 단계 수와 제약 조건 우선순위 히우리스틱이 모델 수렴 및 정확도에 어떤 영향을 미치는가?
• RQ4 모델은 구조적 및 성질 제약 조건의 집합만으로 알려지지 않은 분자를 높은 정확도로 식별할 수 있는가?
• RQ5 일부 높은 보상 예측이 높은 구조 유사도를 달성하지 못하는 이유는 무엇이며, 이를 완화할 수 있는가?

주요 결과

• 제안된 모델은 5개의 알려지지 않은 목표 분자 중 4개를 83–100%의 성공률로 정확히 식별하였으며, 기준 방법은 0%의 성과를 기록했다.
• 모델은 모든 5개의 테스트 분자에 대해 최대 상위 5개 보상 점수를 확보하여 다수의 목적을 효과적으로 최적화함을 보였다.
• 적응형 제약 조건 가중치를 적용한 개선된 커리큘럼 히우리스틱은 특히 초기 성능이 열악했던 타겟 4 및 5에서 구조 유사도 향상에 크게 기여했다.
• 너무 많은 커리큘럼 단계를 가진 모델는 성능이 열악해졌으며, 이는 과도한 단계 분할이 에이전트를 열악한 국소 최적해에 갇히게 할 수 있음을 시사한다.
• 약한 학습 수준의 제약 조건을 식별하고 우선순위를 정하기 위해 임계값 기반 히우리스틱(ξ = 0.5)을 사용함으로써 최종 성능과 안정성이 향상되었다.
• 프레임워크는 강화 학습에 커리큘럼 학습을 통합함으로써 최대 21개의 분자 제약 조건을 동시에 처리할 수 있음을 입증하였으며, 기존 생성 모델의 적용 범위를 크게 확장시켰다.