[논문 리뷰] Distributed Representations for Biological Sequence Analysis

Dhananjay Kimothi, Akshay Soni외 2명|arXiv (Cornell University)|2016. 08. 21.

Machine Learning in Bioinformatics참고 문헌 27인용 수 55

한 줄 요약

이 논문은 자연어 처리에서 유래한 신경망 아키텍처(예: skip-gram 및 CBOW)를 변형하여 생물학적 서열의 분산 표현을 학습하는 새로운 방법인 seq2vec을 제안한다. 단백질 서열 분류 작업에서 seq2vec는 ProtVec와 같은 최신 기법보다 모든 평가 지표에서 4–6% 향상된 성능을 보이며, 낮은 차원의 벡터 공간에서 문맥적 및 기능적 정보를 더 잘 포착함을 입증한다.

ABSTRACT

Biological sequence comparison is a key step in inferring the relatedness of various organisms and the functional similarity of their components. Thanks to the Next Generation Sequencing efforts, an abundance of sequence data is now available to be processed for a range of bioinformatics applications. Embedding a biological sequence over a nucleotide or amino acid alphabet in a lower dimensional vector space makes the data more amenable for use by current machine learning tools, provided the quality of embedding is high and it captures the most meaningful information of the original sequences. Motivated by recent advances in the text document embedding literature, we present a new method, called seq2vec, to represent a complete biological sequence in an Euclidean space. The new representation has the potential to capture the contextual information of the original sequence necessary for sequence comparison tasks. We test our embeddings with protein sequence classification and retrieval tasks and demonstrate encouraging outcomes.

연구 동기 및 목표

• 기능적 및 진화적 관계를 유지하면서 기능적이고 스케일링 가능한, 정렬 기반이 아닌 생물학적 서열의 저차원 벡터 공간 표현 방법을 개발한다.
• BLAST 및 동적 프rogramming와 같은 전통적인 서열 정렬 방법의 계산 비효율성을 해결하기 위해 학습된 임베딩으로 이를 대체한다.
• 신경망 기반 표현 학습을 통해 문맥적 및 구조적 정보를 포착하여 단백질 서열 분류 및 검색 성능을 향상시킨다.
• 제안된 임베딩의 실세계 생물정보학 작업, 특히 다중 클래스 단백질 가족 분류 작업에서의 효과를 평가한다.
• 학습된 임베딩이 ProtVec 및 BLAST와 같은 기존 기법을 초월하거나 보완할 잠재력을 탐색한다.

제안 방법

• word2vec에서 유래한 skip-gram 및 CBOW 아키텍처를 변형하여 전체 생물학적 서열을 연속적인 벡터 표현으로 모델링한다.
• 단백질 서열에서 추출한 k-mer(길이 k의 부분서열)에 대해 슬라이딩 윈도우를 적용하여 조밀한 벡터 공간에서 분산 표현을 학습한다.
• 중앙 k-mer를 기반으로 주변 k-mer를 예측하는 방식(스킵-그램) 또는 주변 문맥에서 중심 k-mer를 예측하는 방식(CBOW)을 통해 임베딩 파라미터를 최적화하기 위해 확률적 경사 하강법을 사용한다.
• 대규모 생물학적 서열 데이터셋에서의 학습 효율성을 향상시키기 위해 계층적 소프트맥스 또는 음성 샘플링을 적용한다.
• 학습 및 테스트 서열을 동일한 벡터 공간에 동시에 임베딩하여 k-최근접 이웃 분류를 가능하게 한다.
• 하이퍼파ram터는 그리드 서치를 통해 최적화하고, 다중 클래스 분류에는 일대다 전략을 사용한 선형 SVM를 적용한다.

실험 결과

연구 질문

• RQ1 신경망 기반 접근법이 기능적 및 진화적 관계를 유지하면서 의미 있는 저차원 생물학적 서열 표현을 학습할 수 있는가?
• RQ2 seq2vec의 성능은 단백질 서열 분류 작업에서 ProtVec와 같은 기존 임베딩 기법과 비교해 어떻게 되는가?
• RQ3 학습된 임베딩이 서열 검색 및 분류 작업에서 히우리스틱 도구인 BLAST을 얼마나 초월하거나 보완할 수 있는가?
• RQ4 seq2vec의 문맥 모델링이 치환 행렬이나 정렬 점수에 명시적으로 포함되지 않은 생물학적으로 의미 있는 패턴을 포착할 수 있는가?
• RQ5 다양한 단백질 가족 간 서열 길이 및 조성의 변동에 대해 임베딩의 강건성은 어느 정도인가?

주요 결과

• 다중 클래스 단백질 가족 분류 작업에서 seq2vec는 정밀도, 재현율, F1-스코어 등 모든 평가 지표에서 ProtVec보다 4–6% 향상된 정확도를 달성한다.
• seq2vec 임베딩을 사용한 k-최근접 이웃 분류 성능은 테스트된 모든 k 값에서 ProtVec 기반 분류 성능를 일관되게 뛰어넘는다.
• BLAST이 검색 기준으로서 강력한 성능을 보임에도 불구하고 seq2vec는 경쟁 가능한 성능을 달성하여, 학습된 임베딩이 생물학적으로 관련성이 있는 유사성을 암묵적으로 모델링할 수 있음을 시사한다.
• seq2vec와 BLAST 간의 성능 격차는 현재 임베딩 기법이 여전히 진화적 치환 패턴을 더 잘 모델링할 여지가 있음을 나타내며, 향후 개선 여지가 있음을 시사한다.
• 결과적으로 seq2vec는 단백질 서열에서 문맥적 및 기능적 정보를 효과적으로 포착하여 후속 머신러닝 작업에서 더 나은 일반화 성능을 가능하게 한다.
• 이 방법은 확장성과 효율성이 뛰어나 정렬 기반 방법이 계산적으로 비효율적인 대규모 생물학적 서열 분석에 적합하다.