[論文レビュー] Maximum Reward Formulation In Reinforcement Learning

Sai Krishna Gottipati, Yashaswi Pathak+7 more|arXiv (Cornell University)|Oct 8, 2020

Gene Regulatory Network Analysis参考文献 38被引用数 6

ひとこと要約

本論文は、経路に沿った期待最大報酬を最大化するという新しい強化学習定式化を提案し、累積報酬ではなく最高の単一報酬を最適化するための新しいベルマン方程式—「max-Bellman」—を導入している。この手法は、QED、clogP、HIV標的活性スコアを含む薬物発見ベンチマークにおいて、既存の手法を著しく上回る最先端の性能を達成した。

ABSTRACT

Reinforcement learning (RL) algorithms typically deal with maximizing the expected cumulative return (discounted or undiscounted, finite or infinite horizon). However, several crucial applications in the real world, such as drug discovery, do not fit within this framework because an RL agent only needs to identify states (molecules) that achieve the highest reward within a trajectory and does not need to optimize for the expected cumulative return. In this work, we formulate an objective function to maximize the expected maximum reward along a trajectory, derive a novel functional form of the Bellman equation, introduce the corresponding Bellman operators, and provide a proof of convergence. Using this formulation, we achieve state-of-the-art results on the task of molecule generation that mimics a real-world drug discovery pipeline.

研究の動機と目的

• 実世界の応用においては、経路内の最高報酬のみが重要であり、累積報酬ではないという標準的RLの限界を解決すること。
• エピソードに沿った期待最大報酬を最大化する新しい目的関数を定式化すること。
• 最大報酬最適化に特化した新しい関数形のベルマン方程式を開発すること。
• 新しい定式化下でのQ学習の収束を証明し、実世界の薬物発見設定での実証的検証を実施すること。
• 既存の最先端手法と比較して、高品質で合成可能な分子をより優れた性能で生成できることを示すこと。

提案手法

• 新しいベルマン方程式を提案：$ Q_{\text{max}}^{\pi}(s_t,a_t) = \mathbb{E}_{s_{t+1},a_{t+1}}\left[\max\left(r(s_t,a_t), \gamma Q_{\text{max}}^{\pi}(s_{t+1},a_{t+1})\right)\right] $、これは最大報酬を前方に伝播する。
• max-Bellman定式化に応じた評価および最適性作用素を定義する。
• 標準的RLの仮定の下で、max-Bellman定式化下でのQ学習の収束を証明する。
• max-Bellman定式化をディープRLアルゴリズムに統合し、特に反応ベースの新規薬物設計に適用する。
• max-Bellman目的を組み込んだポリシー勾配法（PGFS）を用いて学習する（PGFS+MB）。
• ENAMINEデータセットの反応物と複数の報酬関数（QED、clogP、HIV標的）を用いて、現実的な薬物発見環境で学習する。

実験結果

リサーチクエスチョン

• RQ1 経路に沿った期待最大報酬を最大化する強化学習目的が、実世界の応用において標準的累積報酬最大化を上回るか？
• RQ2 提案されたmax-Bellmanベルマン方程式定式化は、ディープRL設定において安定的かつ収束的学習をもたらすか？
• RQ3 max-Bellman定式化は、新規分子生成における薬物発見のパフォーマンスを向上させられるか、特に高活性化合物の同定に有効か？
• RQ4 最大報酬および上位100位の分子性能の観点から、max-Bellman定式化は既存の最先端手法と比較して優れているか？
• RQ5 特に割引率$\gamma$を含むハイパーパrameterのうち、max-Bellmanフレームワークでのパフォーマンスに最も顕著に影響を与えるものは何か？

主な発見

• 提案されたPGFS+MB手法は、QED、clogP、および3つのHIV標的の全5つの報酬で、PGFSおよび他のベースラインを上回る最高の最大報酬を達成した。
• HIV-RT標的では最大報酬が9.20（PGFSの9.05対比）に達し、HIV-CCR5では9.26（PGFSの9.05対比）に達した。これは、高活性分子の同定に優れていることを示している。
• 上位100位の分子分析において、PGFS+MBはHIV-CCR5で平均スコア9.06 ± 0.01を達成（PGFSの8.96 ± 0.04対比）し、全標的および設定で最高の平均を記録した。
• 化学的空間制約にさらされたアプリカビリティドメイン（AD）および非AD設定の両方で一貫した優位性を維持しており、強靭性が確認された。
• パフォーマンスは割引率$\gamma$に敏感であり、最適な値は報酬関数ごとに異なった。これは、ハイパーパrameterチューニングに注意を払う必要があることを示唆している。
• 図5は、2000個の検証反応物を用いた2000エピソードにわたり、PGFS+MBが累積報酬および1エピソードあたりの最大報酬の両面でPGFSおよびRSを一貫して上回っていることを示している。