[논문 리뷰] Neural Distance Embeddings for Biological Sequences

Gabriele Corso, Rex Ying외 4명|arXiv (Cornell University)|2021. 09. 20.

Bioinformatics and Genomic Networks참고 문헌 77인용 수 12

한 줄 요약

NeuroSEED는 생물학적 서열을 기하 벡터 공간에 매핑하여 진화적 편집 거리의 근사치를 유지하는 신경망 프레임워크이다. 쌍곡 공간은 경쟁 기하학에 비해 임베딩 RMSE를 22% 감소시킨다. 이는 계층적 클러스터링 및 다중 서열 정렬과 같은 핵심 생물정보학 작업의 빠르고 정확한 근사치를 가능하게 하며, 기준보다 최대 30배 빠른 런타임을 달성하면서도 정확도를 유지하거나 초월한다.

ABSTRACT

The development of data-dependent heuristics and representations for biological sequences that reflect their evolutionary distance is critical for large-scale biological research. However, popular machine learning approaches, based on continuous Euclidean spaces, have struggled with the discrete combinatorial formulation of the edit distance that models evolution and the hierarchical relationship that characterises real-world datasets. We present Neural Distance Embeddings (NeuroSEED), a general framework to embed sequences in geometric vector spaces, and illustrate the effectiveness of the hyperbolic space that captures the hierarchical structure and provides an average 22% reduction in embedding RMSE against the best competing geometry. The capacity of the framework and the significance of these improvements are then demonstrated devising supervised and unsupervised NeuroSEED approaches to multiple core tasks in bioinformatics. Benchmarked with common baselines, the proposed approaches display significant accuracy and/or runtime improvements on real-world datasets. As an example for hierarchical clustering, the proposed pretrained and from-scratch methods match the quality of competing baselines with 30x and 15x runtime reduction, respectively.

연구 동기 및 목표

• 대규모 생물학적 서열 분석에서 정확한 편집 거리 계산의 계산적 병목 현상을 해결하기 위해.
• 생물학적 진화에 내재된 계층적 구조를 포착하는 데이터 의존적 기하 표현 학습 프레임워크를 개발하기 위해.
• 서열 간 거리 측정 기반의 계층적 클러스터링 및 다중 서열 정렬과 같은 핵심 생물정보학 작업을 빠르게 하기 위해, 느린 조합적 알고리즘을 대체하는 가속화 가능한 미분 가능 임베딩으로 전환하기 위해.
• 쌍곡 기하학이 서열 임베딩에서 편집 거리를 유지하는 데 유럽 기하학 및 기타 기하학보다 뚜렷한 우수성을 보이는지 확인하기 위해.
• 신경망 기반 거리 임베딩을 통해 서열 유사도 및 공통 서열 예측에 대해 효율적이고 확장 가능하며 정확한 추론을 가능하게 하기 위해.

제안 방법

• NeuroSEED는 편집 거리 D(s1, s2)를 벡터 거리 d(fθ(s1), fθ(s2))로 유지하는 학습 가능한 인코더 fθ를 사용하여 생물학적 서열을 기하 벡터 공간에 매핑한다.
• 다양한 기하학(유럽, 코사인, 쌍곡)을 평가하여 쌍곡 공간이 계층적 진화적 관계를 가장 잘 포착하는 것으로 확인하였다.
• 학습을 위해 예측된 벡터 거리와 진짜 편집 거리 간의 평균 제곱오차(MSE)를 최소화하며, 일반화 성능 향상을 위해 대조 손실 또는 트리플릿 손실을 사용한다.
• 잠재 임베딩에서 서열을 재구성하기 위해 변동형 오토에코더 기반 디코더를 학습하며, 재파arameterization 기법을 통해 노이즈를 주입하여 분포 외 포인트에 대한 강건성을 향상시킨다.
• 쌍곡 공간에서는 Wrapped Normal 분포가 Poincaré 구의 모양을 유지하면서 고전적 정규 분포를 일반화하여 균일성을 확보한다.
• 테스트 시점에 스티너 스트링(공통 서열)은 모든 서열 임베딩과의 거리 합을 최소화하는 임베딩 공간 내의 벡터를 찾고, 이를 생성 네트워크를 통해 디코딩함으로써 근사한다.

실험 결과

연구 질문

• RQ1 학습 가능한 데이터 의존적 임베딩 프레임워크가 생물학적 서열의 이산적이고 조합적인 편집 거리를 효과적으로 근사할 수 있는가?
• RQ2 쌍곡 기하학이 유럽 또는 코사인 공간에 비해 편집 거리 유지 및 진화적 계층성 포착에 뚜렷한 이점을 제공하는가?
• RQ3 NeuroSEED 기반 모델이 계층적 클러스터링 및 다중 서열 정렬을 가속화하면서도 정확도를 유지하거나 향상시킬 수 있는가?
• RQ4 연속적 리프래시 및 변동형 오토에코더의 사용이 서열 재구성 및 공통 예측의 강건성과 성능을 어떻게 향상시키는가?
• RQ5 편집 거리 근사치에 기반한 비지도 및 자기지도 학습이 후속 생물정보학 작업으로 일반화되는 정도는 어느 정도인가?

주요 결과

• NeuroSEED는 경쟁 기하학 중 최고의 성능을 보이는 기하학 대비 쌍곡 공간을 사용할 경우 평균 22%의 임베딩 RMSE 감소를 기록하였다.
• 계층적 클러스터링에서 사전 학습된 모델을 사용할 경우 기준보다 30배 빠른 런타임을 달성하면서도 기준과 유사한 정확도를 확보하였고, 초기 학습에서 15배의 런타임 감소를 기록하였다.
• Qiita 데이터셋에서 최고 성능을 보인 모델(CNN + 트리플릿 손실 + 쌍곡 공간)은 가장 가까운 스트링 검색에서 85.7%의 top-10 정확도를 기록하여 k-mer 및 FFP 기준보다 뛰어난 성능을 보였다.
• 변동형 오토에코더 기반 접근법은 경쟁 기준과 유사한 성능을 기록하면서도 런타임 복잡도를 크게 감소시켰다.
• 쌍곡 공간에서의 트리플릿 손실 사용은 불안정한 학습을 유도하여, MSE 기반 학습이 이 기하학에서 더 안정적임을 시사하였지만, 추가 분석이 필요하다.
• 쌍곡 공간에서 Dasgupta의 비용에 대한 연속적 리프래시를 통해 계층적 클러스터링에서 15배의 런타임 감소를 달성하였고, 최첨단 방법과 유사한 품질의 결과를 확보하였다.