[논문 리뷰] The tree reconstruction game: phylogenetic reconstruction using reinforcement learning

Dana Azouri, Oz Granit외 4명|arXiv (Cornell University)|2023. 03. 12.

Genomics and Phylogenetic Studies인용 수 5

한 줄 요약

이 논문은 심층 Q-학습을 활용한 강화학습(RL) 프레임워크를 도입하여 나무 공간 내에서 전략적 탐색 정책을 학습함으로써 계통수 재구성의 최적화를 위해 제안한다. 기존의 이탈리안 가능성 향상에 의존하는 히ュ리스틱 방법과는 달리, 이 방법은 더 높은 가능도 점수를 얻는 나무 재구성의 시퀀스를 학습하며, 최대 20개의 시퀀스를 가진 실제 데이터에서 기존 소프트웨어와 유사한 성능을 달성한다.

ABSTRACT

We propose a reinforcement-learning algorithm to tackle the challenge of reconstructing phylogenetic trees. The search for the tree that best describes the data is algorithmically challenging, thus all current algorithms for phylogeny reconstruction use various heuristics to make it feasible. In this study, we demonstrate that reinforcement learning can be used to learn an optimal search strategy, thus providing a novel paradigm for predicting the maximum-likelihood tree. Our proposed method does not require likelihood calculation with every step, nor is it limited to greedy uphill moves in the likelihood space. We demonstrate the use of the developed deep-Q-learning agent on a set of unseen empirical data, namely, on unseen environments defined by nucleotide alignments of up to 20 sequences. Our results show that the likelihood scores of the inferred phylogenies are similar to those obtained from widely-used software. It thus establishes a proof-of-concept that it is beneficial to optimize a sequence of moves in the search-space, rather than optimizing the progress made in every single move only. This suggests that a reinforcement-learning based method provides a promising direction for phylogenetic reconstruction.

연구 동기 및 목표

• 계통수 재구성에서 큰 나무 공간을 탐색하는 데 발생하는 계산적 과제를 해결하기 위해.
• 현재 히ュ리스틱 방법의 한계를 극복하기 위해, 가능도에서 국소적이고 탐욕적인 향상만을 수행하는 방법의 한계를 극복하기 위해.
• 강화학습(RL)이 단계별 상승보다 더 효과적으로 가능도를 향상시키는 전역적 탐색 전략을 학습할 수 있는지 탐색하기 위해.
• 최대 20개의 시퀀스를 가진 새로운 실제 핵산 정렬에서 이 접근법을 검증하기 위해.
• 나무 탐색 공간 내에서 시퀀스 수준 최적화가 재구성 정확도를 향상시킬 수 있음을 입증하기 위한 개념 증명을 수립하기 위해.

제안 방법

• 계통수 재구성 문제를 마르코프 결정 과정(MDP)으로 공식화하며, 상태는 나무 구조를 나타내고, 행동은 나무 재구성(예: NNI 이동)을 나타낸다.
• 심층 Q-네트워크(DQN) 에이전트는 다중 단계에 걸친 가능도 향상에 기반해 누적 보상을 최대화하는 행동을 선택하도록 훈련된다.
• 학습 안정성을 높이기 위해 경험 재생과 타겟 네트워크를 사용하며, 각 이동 후 가능도 변화에 따라 보상이 조정된다.
• 모든 단계에서 가능도를 재계산하지 않고도, 학습된 가치 함수를 활용해 탐색을 안내함으로써 가능도 재계산을 피한다.
• 훈련 환경은 실제 핵산 정렬에서 구성되며, 평가 시에는 새로운 데이터 시나리오를 시뮬레이션한다.
• 추론 단계에서 매번 가능도 계산이 필요로 하지 않아, 정책 배포의 효율성이 향상된다.

실험 결과

연구 질문

• RQ1 탐욕적 가능도 상승에 비해, 강화학습 에이전트가 계통수 재구성에 대해 향상된 탐색 전략을 학습할 수 있는가?
• RQ2 나무 공간 내에서 이동 순서를 함께 최적화하면, 각 이동을 별도로 최적화하는 것보다 더 높은 가능도 점수를 얻을 수 있는가?
• RQ3 재훈련 없이도, 최대 20개의 시퀀스를 가진 새로운 실제 데이터셋에 대해 강화학습 에이전트가 일반화할 수 있는가?
• RQ4 가장 널리 사용되는 계통수 소프트웨어와 비교했을 때, RL 기반 방법의 성능은 가능도 및 나무 정확도 측면에서 어떻게 되는가?
• RQ5 완전한 가능도 평가 없이도, 복잡하고 고차원적인 나무 구조 공간을 효과적으로 탐색할 수 있도록 강화학습 에이전트를 훈련시키는 것이 가능한가?

주요 결과

• 심층 Q-학습 에이전트는 실제 데이터셋에서 널리 사용되는 계통수 소프트웨어 도구가 생성하는 것과 유사한 가능도 점수를 달성했다.
• 나무 공간에서 장기적 보상 최적화를 통해 국소적 가능도 향상만을 고려하는 것보다 더 나은 전체적인 나무 재구성 결과를 도출할 수 있음을 입증했다.
• 에이전트는 새로운 실제 정렬에 대해 성공적으로 일반화되었으며, 새로운 데이터 분포에 대한 강건성을 보였다.
• 추론 중에 단계별 가능도 계산에 대한 의존도를 줄여 계산 효율성을 향상시켰다.
• 결과적으로 강화학습이 나무 공간에서 비탐욕적 탐색 전략을 효과적으로 학습할 수 있음을 검증했으며, 히ュ리스틱 방법에 대한 유망한 대안을 제공한다.
• 본 연구는 강화학습 기반의 탐색 순서 최적화가 전통적인 탐욕적 탐색보다 우수한 성능을 낼 수 있음을 개념 증명으로 제시한다.