[論文レビュー] The tree reconstruction game: phylogenetic reconstruction using reinforcement learning

Dana Azouri, Oz Granit+4 more|arXiv (Cornell University)|Mar 12, 2023

Genomics and Phylogenetic Studies被引用数 5

ひとこと要約

この論文は、深層Q学習を用いた強化学習（RL）フレームワークを導入し、木空間における戦略的探索方針を学習することで、系統発生木の再構築を最適化する。従来の局所的でグリーディな尤度向上に依存するヒューリスティクスとは異なり、尤度スコアをより高くするような木の再編成のシーケンスを学習する。20配列までの実データにおいて、標準的なソフトウェアと同等の性能を達成している。

ABSTRACT

We propose a reinforcement-learning algorithm to tackle the challenge of reconstructing phylogenetic trees. The search for the tree that best describes the data is algorithmically challenging, thus all current algorithms for phylogeny reconstruction use various heuristics to make it feasible. In this study, we demonstrate that reinforcement learning can be used to learn an optimal search strategy, thus providing a novel paradigm for predicting the maximum-likelihood tree. Our proposed method does not require likelihood calculation with every step, nor is it limited to greedy uphill moves in the likelihood space. We demonstrate the use of the developed deep-Q-learning agent on a set of unseen empirical data, namely, on unseen environments defined by nucleotide alignments of up to 20 sequences. Our results show that the likelihood scores of the inferred phylogenies are similar to those obtained from widely-used software. It thus establishes a proof-of-concept that it is beneficial to optimize a sequence of moves in the search-space, rather than optimizing the progress made in every single move only. This suggests that a reinforcement-learning based method provides a promising direction for phylogenetic reconstruction.

研究の動機と目的

• 系統発生再構築における巨大な木空間の探索という計算上の課題に対処すること。
• 現在のヒューリスティクス手法の限界を克服すること。これらの手法は尤度の局所的でグリーディな改善しか行わない。
• RLが、段階的上昇よりも尤度をより効果的に向上させるようなグローバルな探索戦略を学習できるかどうかを検証すること。
• 20配列までの未観測の実核酸配列アラインメントにおいて、このアプローチを検証すること。
• 木空間におけるシーケンスレベルの最適化が再構築の正確性を向上させることを証明する概念的実証を行うこと。

提案手法

• 系統発生木の再構築を、状態が木のトポロジー、行動が木の再編成（例：NNI移動）であるマルコフ決定過程（MDP）として定式化する。
• 深層Qネットワーク（DQN）エージェントを、複数ステップにわたる尤度の改善に基づいて累積報酬を最大化する行動を選択するように訓練する。
• 学習の安定化のため、経験再生とターゲットネットワークを用いて訓練を行う。報酬は、各移動後の対数尤度の変化に基づいて設計される。
• 探索をガイドするために、尤度の再計算を各ステップで行わないように、学習された価値関数を活用する。
• 訓練環境は実核酸アラインメントから構築され、評価時に未観測データのシナリオを模擬する。
• 推論ステップごとに尤度計算を必要としないため、効率的なポリシーのデプロイが可能である。

実験結果

リサーチクエスチョン

• RQ1 グリーディな尤度上昇と比較して、強化学習エージェントが系統発生木再構築のための優れた探索戦略を学習できるか？
• RQ2 木空間における移動のシーケンスを学習することで、各移動を個別に最適化するのと比較して、より高い尤度スコアが得られるか？
• RQ3 再訓練なしで、20配列までの未観測の実データセットに一般化できるか？
• RQ4 尤度と木の正確性の観点から、RLベースの手法と既存の系統発生ソフトウェアの性能を比較するとどうなるか？
• RQ5 全尤度評価を実施せずに、複雑で高次元な木トポロジー空間を効果的に探索できるように、RLエージェントを訓練することが可能か？

主な発見

• 深層Q学習エージェントは、広く使われている系統発生ソフトウェアツールと同等の尤度スコアを実データセットで達成した。
• 木空間における長期的報酬最適化（局所的尤度上昇のみではなく）が、より優れた全体的な木再構築につながることを示した。
• エージェントは未観測の実アラインメントに成功裏に一般化し、新しいデータ分布に対しても頑健であることが示された。
• 推論中にステップごとの尤度計算への依存度を低減し、計算効率を向上させた。
• RLが、グリーディでない効果的な探索戦略を木空間で学習できることを検証した。これは、ヒューリスティクス手法に対する有望な代替手段である。
• 本研究は、系統発生推定における伝統的なグリーディ探索を上回る、探索シーケンスのRLベース最適化が可能であるという概念的実証を提示した。