[논문 리뷰] Maximum Reward Formulation In Reinforcement Learning

Sai Krishna Gottipati, Yashaswi Pathak외 7명|arXiv (Cornell University)|2020. 10. 08.

Gene Regulatory Network Analysis참고 문헌 38인용 수 6

한 줄 요약

이 논문은 궤적 동안 기대 최대 보상값을 최대화하는 데 초점을 맞춘 새로운 강화학습 설정을 제안하며, 누적 수익이 아닌 단일 최고 보상값을 최적화하기 위해 새로운 벨먼 방정식인 'max-Bellman'을 도입한다. 이 방법은 QED, clogP, HIV 타겟 활성도 점수를 포함한 약물 발굴 벤치마크에서 기존 방법들을 크게 능가하는 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Reinforcement learning (RL) algorithms typically deal with maximizing the expected cumulative return (discounted or undiscounted, finite or infinite horizon). However, several crucial applications in the real world, such as drug discovery, do not fit within this framework because an RL agent only needs to identify states (molecules) that achieve the highest reward within a trajectory and does not need to optimize for the expected cumulative return. In this work, we formulate an objective function to maximize the expected maximum reward along a trajectory, derive a novel functional form of the Bellman equation, introduce the corresponding Bellman operators, and provide a proof of convergence. Using this formulation, we achieve state-of-the-art results on the task of molecule generation that mimics a real-world drug discovery pipeline.

연구 동기 및 목표

• 누적 수익이 아닌 궤적 내 최고 보상값만 중요한 실세계 응용 분야에서 표준 강화학습의 한계를 해결한다.
• 에피소드 동안 기대 최대 보상값을 최대화하기 위한 새로운 목표 함수를 제안한다.
• 최대 보상 최적화에 특화된 새로운 형태의 벨먼 방정식을 개발한다.
• 새로운 설정 하에서 Q-학습의 수렴성을 증명하고, 실세계 약물 발굴 환경에서 실험적으로 검증한다.
• 기존 최신 기술 수준 방법들과 비교해 고품질이며 합성 가능한 분자를 더 잘 생성하는 데서 뛰어난 성능을 보여준다.

제안 방법

• 최대 보상을 앞으로 전파하는 방식의 새로운 벨먼 방정식을 제안: $ Q_{\text{max}}^{\pi}(s_t,a_t) = \mathbb{E}_{s_{t+1},a_{t+1}}\left[\max\left(r(s_t,a_t), \gamma Q_{\text{max}}^{\pi}(s_{t+1},a_{t+1})\right)\right] $.
• max-Bellman 설정에 맞는 평가 및 최적성 연산자 정의.
• 표준 강화학습 가정 하에 max-Bellman 설정 하에서 Q-학습의 수렴성을 증명한다.
• 딥 강화학습 알고리즘에 max-Bellman 설정을 통합하며, 특히 반응 기반 탈신성 약물 설계에 적용한다.
• max-Bellman 목표를 통합한 정책 그래디언트 방법(PGFS)을 사용해 학습한다(PGFS+MB).
• ENAMINE 데이터셋의 반응물과 QED, clogP, HIV 타겟 등의 다수 보상 함수를 사용해 현실적인 약물 발굴 환경에서 학습한다.

실험 결과

연구 질문

• RQ1 궤적 동안 기대 최대 보상값을 최대화하는 강화학습 목표가 실세계 응용 분야에서 표준 누적 수익 최대화보다 우수한 성능을 내는가?
• RQ2 제안된 max-Bellman 벨먼 방정식 설정이 딥 강화학습 환경에서 안정적이고 수렴 가능한 학습을 이끌어내는가?
• RQ3 max-Bellman 설정이 탈신성 분자 생성에서 성능을 향상시켜 고활성 화합물을 효과적으로 식별하는 데 기여하는가?
• RQ4 최대 보상 및 상위 100개 분자 성능 측면에서 max-Bellman 설정은 기존 최신 기술 수준 방법들과 비교해 어떻게 성능을 냈는가?
• RQ5 할인 인자 $\gamma$를 포함한 주요 하이퍼파rameter 중 어떤 것이 max-Bellman 프레임워크에서 성능에 가장 큰 영향을 미치는가?

주요 결과

• 제안된 PGFS+MB 방법은 QED, clogP 및 세 가지 HIV 타겟을 포함한 다섯 가지 평가 보상 모두에서 최고의 최대 보상을 달성하여 PGFS 및 기타 기준 방법들을 능가했다.
• HIV-RT 타겟에서는 최대 보상 9.20을 기록했으며(PGFS는 9.05), HIV-CCR5에서는 9.26을 달성해 고활성 분자의 발견 능력이 뛰어나다는 것을 보여주었다.
• 상위 100개 분자 분석에서 PGFS+MB는 HIV-CCR5에서 평균 점수 9.06 ± 0.01을 기록했으며(PGFS는 8.96 ± 0.04), 모든 타겟과 설정에서 가장 높은 평균 점수를 확보했다.
• 화학적 공간 제약 조건이 있는지 여부에 관계없이 일관된 우수성을 유지하여, 화학적 공간 제약에 대한 강건성을 입증했다.
• 성능는 할인 인자 $\gamma$에 민감하게 영향을 받았으며, 최적의 값은 보상 함수에 따라 달라졌고, 이는 철저한 하이퍼파rameter 튜닝의 필요성을 시사했다.
• 그림 5는 2000개의 검증 반응물에 대해 PGFS+MB가 누적 보상과 에피소드당 최대 보상 측면에서 PGFS 및 RS를 일관되게 뛰어넘는다는 것을 보여준다.