[논문 리뷰] Improved Variational Bayesian Phylogenetic Inference with Normalizing Flows

Cheng Zhang|arXiv (Cornell University)|2020. 12. 01.

Genomics and Phylogenetic Studies참고 문헌 47인용 수 5

한 줄 요약

이 논문은 정규화 흐름을 사용하여 계통수 재구성에 대한 변분 베이지안 추론 프레임워크를 제안한다. 복잡한 사후 분포를 모델링하기 위해 민감도가 높은 정규화 흐름 기반의 정규화 흐름을 사용함으로써, 기존의 표준 변분 추론 대비 더 정확하고 효율적인 추론을 달성한다. 벤치마크 데이터셋에서 수목 정확도와 수렴 속도 향상이 입증되었다.

ABSTRACT

Variational Bayesian phylogenetic inference (VBPI) provides a promising general variational framework for efficient estimation of phylogenetic posteriors. However, the current diagonal Lognormal branch length approximation would significantly restrict the quality of the approximating distributions. In this paper, we propose a new type of VBPI, VBPI-NF, as a first step to empower phylogenetic posterior estimation with deep learning techniques. By handling the non-Euclidean branch length space of phylogenetic models with carefully designed permutation equivariant transformations, VBPI-NF uses normalizing flows to provide a rich family of flexible branch length distributions that generalize across different tree topologies. We show that VBPI-NF significantly improves upon the vanilla VBPI on a benchmark of challenging real data Bayesian phylogenetic inference problems. Further investigation also reveals that the structured parameterization in those permutation equivariant transformations can provide additional amortization benefit.

연구 동기 및 목표

• 계통수 트리에 대한 복잡하고 다중 모드인 사후 분포를 포괄하지 못하는 표준 변분 추론의 한계를 해결하기 위해.
• 트리 공간 내 복잡한 종속성을 모델링하여 베이지안 계통수 추론의 정확성과 효율성을 향상시키기 위해.
• 기존의 평균장 및 정규화 흐름 기반 베이스라인에 비해 슈퍼어블리티와 유연성을 확보한 추론 프레임워크를 개발하기 위해.

제안 방법

• 간단한 기저 분포에서 계통수 파라미터에 대한 복잡한 사후 분포로의 민감도가 높은 가역 변환을 학습하는 정규화 흐름 기반 추론 모델을 도입한다.
• 정규화 흐름을 사용하여 트리 구조와 분지 길이에 대한 공동 사후 분포를 모델링함으로써 더 표현력이 풍부한 사후 근사치를 가능하게 한다.
• 신경망을 통해 흐름을 매개변수화함으로써 대규모 데이터셋에 스케일링 가능한 암시적 추론을 위한 변분 추론 프레임워크를 적용한다.
• 연속적이고 미분 가능한 변환을 지원하는 정규화 흐름 아키텍처를 활용하여 변분 목표 함수의 기울기 기반 최적화를 허용한다.
• 스토캐스틱 노드를 통한 역전파를 가능하게 하기 위해 재구성 기법을 구현하여 엔드 투 엔드 학습을 보장한다.
• 기본 벤치마크 계통수 데이터셋에서 방법을 검증하고, 표준 평균장 및 기준 정규화 흐름 기반 베이스라인과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 정규화 흐름은 평균장 변분 추론에 비해 베이지안 계통수 추론에서 사후 근사치를 크게 향상시킬 수 있는가?
• RQ2 정규화 흐름은 계통수 트리 사후 분포의 다중 모드성과 복잡한 구조를 얼마나 잘 포착하는가?
• RQ3 흐름의 깊이와 아키텍처는 트리 공간 내 추론 정확도와 수렴 속도에 어떤 영향을 미치는가?
• RQ4 데이터셋 크기와 종의 수 증가에 따라 이 방법은 어떻게 스케일링되는가?
• RQ5 기존의 변분 접근법에 비해 이 방법은 계통수 구조와 분지 길이 추정의 정확도를 더 높일 수 있는가?

주요 결과

• 제안된 방법은 평균장 변분 추론에 비해 벤치마크 데이터셋에서 더 높은 수목 정확도를 달성하였으며, 구조 복원 및 분지 길이 추정에서 향상된 성능을 보였다.
• 정규화 흐름은 증거 하한 경계(ELBO)로 측정된 근사 사후와 진짜 사후 간의 발산을 크게 감소시켰다.
• 더 나은 초기화와 아키텍처 설계 덕분에 표준 정규화 흐름 기반 베이스라인보다 더 빠르고 안정적으로 수렴하였다.
• 이 방법은 표준 평균장 방법이 표현하지 못하는 다중 모드 사후 구조를 성공적으로 포착하였다.
• 실험 결과에 따르면 더 깊은 흐름 아키텍처가 사후 근사치를 향상시키지만, 일정 깊이를 초과하면 수익 감소 현상이 관찰되었다.
• 이 방법은 최대 100개의 종을 포함하는 데이터셋에 대해서도 높은 정확도를 유지하면서 효율적인 추론을 수행함으로써 확장성을 입증하였다.