[논문 리뷰] Curiosity in exploring chemical space: Intrinsic rewards for deep molecular reinforcement learning

Luca Thiede, Mario Krenn외 2명|arXiv (Cornell University)|2020. 12. 17.

Computational Drug Discovery Methods참고 문헌 33인용 수 11

한 줄 요약

이 논문은 광범위한 화학적 공간 탐색을 향상시키기 위해 내재적 보상을 사용하는 탐색 중심 강화학습을 신규 분자 설계에 도입한다. 예측 세계 모델을 정책 기반 강화학습에 통합함으로써, 이 방법은 세 가지 벤치마크에서 비초점 기반 에이전트를 능가하여 더 높은 logP, 더 나은 QED 점수, 그리고 새로운 황을 포함한 분자들을 발견함으로써, 사전 데이터 편향 없이 고성능의 비정상 분자들을 더 잘 발견할 수 있음을 보여준다.

ABSTRACT

Computer-aided design of molecules has the potential to disrupt the field of drug and material discovery. Machine learning, and deep learning, in particular, have been topics where the field has been developing at a rapid pace. Reinforcement learning is a particularly promising approach since it allows for molecular design without prior knowledge. However, the search space is vast and efficient exploration is desirable when using reinforcement learning agents. In this study, we propose an algorithm to aid efficient exploration. The algorithm is inspired by a concept known in the literature as curiosity. We show on three benchmarks that a curious agent finds better performing molecules. This indicates an exciting new research direction for reinforcement learning agents that can explore the chemical space out of their own motivation. This has the potential to eventually lead to unexpected new molecules that no human has thought about so far.

연구 동기 및 목표

• 신규 분자 생성 과정에서 막대하고 비정형적인 화학적 공간에서의 효율적 탐색 문제를 해결하기 위해.
• 기존 화학적 분포에 편향이 있는 데이터 의존적 생성 모델의 한계를 극복하기 위해.
• 강화학습에서의 호기심을 영감으로 삼은 내재적 동기부여가 외부 보상 신호에 의존하지 않고도 분자 설계를 향상시킬 수 있는지 조사하기 위해.
• 최적화된 성질을 가진 분자를 생성하기 위해 탐색 기반 딥 강화학습 프레임워크를 개발하고 평가하기 위해.
• 호기심이 국소 최적값에서 벗어나 새로운 고성능 분자 구조를 발견하는 데 도움이 되는지 입증하기 위해.

제안 방법

• SELFIES 문자열 토큰을 통해 단계별로 분자를 생성하는 프록시 정책 최적화(PPO)를 사용하는 딥 강화학습 에이전트를 사용한다.
• 현재 상태와 행동에서 다음 상태를 추정하는 예측 세계 모델을 활용하며, 예측 오차가 내재적 보상으로 기능한다.
• 내재적 보상 신호 $ r_{\text{intrinsic}} = \| \hat{\mathbf{z}}_{t+1} - \mathbf{z}_{t+1} \| $ 를 도입한다. 여기서 $ \mathbf{z} $ 는 분자 상태의 잠재 표현이다.
• 내재적 보상과 작업에 특화된 외부 보상(예: logP, QED, 유사도)을 결합하여 탐색과 최적화를 이끈다.
• 예측자 네트워크를 매 단계 후 또는 리PLAY 버퍼를 사용하여 훈련하며, 양식의 성능을 비교하기 위한 분석 연구를 실시한다.
• 모든 생성 단계에서 문법적·화학적으로 유효한 분자를 보장하기 위해, 모든 생성 과정에서 100% 유효한 표현 방식인 SELFIES를 사용한다.

실험 결과

연구 질문

• RQ1 대규모 훈련 데이터셋이 필요하지 않은 내재적 호기심이 분자 강화학습에서 탐색을 향상시킬 수 있는가?
• RQ2 표준 분자 설계 벤치마크에서 호기심 기반 에이전트가 비호기심 기반 에이전트보다 더 높은 성능의 분자를 발견하는가?
• RQ3 내재적 보상 신호는 황을 포함한 체인과 같은 새로운 비정상 분자들을 발견하는 데 어떤 영향을 미치는가?
• RQ4 하이퍼파라미터 설정(예: 호기심 가중치 α)은 다양한 분자 성질 최적화 작업에서 성능을 최대화하는 데 어떻게 기여하는가?
• RQ5 호기심 기반 탐색은 카운트 기반 방법이나 파rameter 노이즈와 같은 다른 탐색 전략과 효과적으로 조합될 수 있는가?

주요 결과

• 내재적 보상 가중치 α = 1을 가진 호기심 기반 에이전트는 페널티가 부과된 logP 작업에서 평균 logP 10.364를 기록하여 비호기심 기반 기준(9.580)을 크게 능가했다.
• 황을 포함한 체인 분자를 발견한 유일한 두 에이전트는 모두 호기심 기반이었으며, 이는 호기심이 국소 최적값에서 벗어나 드문 고성능 영역을 탐색하는 데 기여함을 시사한다.
• QED 작업에서 최고 성능을 기록한 에이전트는 α = 1을 사용하여 QED 점수 0.893을 달성했고, 비호기심 기반 에이전트는 0.872를 기록했다.
• 다른 내재적 보상 공식화 방식은 유사도 작업에서 성능을 향상시켰다(비호기심 기반 대비 0.239 대 0.186), 그러나 logP나 QED 작업에서는 성능 향상이 없었다.
• 예측자 네트워크를 매 단계 후에 재학습한 에이전트가 리PLAY 버퍼를 사용한 에이전트보다 성능이 뛰어났는데, 이는 더 최신화된 세계 모델 예측 덕분으로 보인다.
• 결과는 호기심 기반 탐색이 데이터가 부족하거나 고차원적인 화학적 공간에서 더 다양하고 고성능의 분자 발견을 이끌 수 있음을 입증한다.