[논문 리뷰] Comparing Machine Learning Algorithms with or without Feature Extraction for DNA Classification

Xiangxie Zhang, Ben Beinke외 2명|arXiv (Cornell University)|2020. 11. 01.

Machine Learning in Bioinformatics참고 문헌 23인용 수 11

한 줄 요약

이 논문은 바이러스성 DNA를 생물학적으로 유래한 프라이머에 의존하지 않고 분류하기 위해 DNA 서열 간 레벤슈타인 거리와 무작위로 생성된 DNA 서브서열을 사용하는 새로운 특성 추출 방법을 제안한다. 이 방법은 네 가지 바이러스성 질환 데이터셋에서 3-그램 특성 추출 및 딥러닝 모델(CNN, DNN, N-gram)과 비교되었으며, 가장 작은 SARS-CoV-2 데이터셋에서는 무작위 서열 방법이 97.26%의 정확도로 가장 뛰어난 성능을 보였고, 더 큰 데이터셋에서는 3-그램 방법이 전체적으로 가장 높은 정확도를 기록했다.

ABSTRACT

The classification of DNA sequences is a key research area in bioinformatics as it enables researchers to conduct genomic analysis and detect possible diseases. In this paper, three state-of-the-art algorithms, namely Convolutional Neural Networks, Deep Neural Networks, and N-gram Probabilistic Models, are used for the task of DNA classification. Furthermore, we introduce a novel feature extraction method based on the Levenshtein distance and randomly generated DNA sub-sequences to compute information-rich features from the DNA sequences. We also use an existing feature extraction method based on 3-grams to represent amino acids and combine both feature extraction methods with a multitude of machine learning algorithms. Four different data sets, each concerning viral diseases such as Covid-19, AIDS, Influenza, and Hepatitis C, are used for evaluating the different approaches. The results of the experiments show that all methods obtain high accuracies on the different DNA datasets. Furthermore, the domain-specific 3-gram feature extraction method leads in general to the best results in the experiments, while the newly proposed technique outperforms all other methods on the smallest Covid-19 dataset

연구 동기 및 목표

• 기존의 특성 추출 기법과 새로운 특성 추출 기법을 사용하여 기계학습 모델이 바이러스성 DNA 서열을 분류하는 데 성능을 평가하는 것.
• 무작위로 생성된 DNA 서열이 바이러스성 DNA 분류의 특성 추출에 있어 생물학적으로 유래한 프라이머를 효과적으로 대체할 수 있는지 조사하는 것.
• 다양한 특성 추출 기법과 함께 사용될 때 딥러닝 모델(CNN, DNN, N-gram)과 기존 기계학습 모델(SVM, Adaboost)의 성능을 비교하는 것.
• 데이터셋 크기가 모델 성능에 미치는 영향, 특히 저데이터 환경에서의 영향을 평가하는 것.
• 다양한 바이러스성 질환에서 도메인 특화 3-그램 특성 또는 제안된 무작위 서열 기반 방법 중 어느 것이 더 높은 분류 정확도를 제공하는지 확인하는 것.

제안 방법

• 입력 DNA 서열과 무작위로 생성된 DNA 서브서열 간의 레벤슈타인 거리를 기반으로 한 정보가 풍부한 특성 추출 방법을 제안하여 특성 추출을 수행한다.
• DNA 서열에서 가능한 모든 3염기 조합(예: AAA, AAC 등)을 빈도 기반 벡터로 인코딩하는 도메인 특화 3-그램 특성 추출 방법을 적용한다.
• 두 가지 특성 추출 방법을 다양한 기계학습 알고리즘(SVM, Adaboost, CNN, DNN, N-gram 확률 모델)과 조합하여 사용한다.
• 실제 바이러스성 DNA 데이터셋 네 개를 사용: 간염 C, HIV(유형 1/2), 인플루엔자/코로나바이러스, SARS-CoV-2. 각각 다른 데이터 크기와 바이러스 특성을 반영한다.
• 모델 평가를 위해 10겹 교차검증을 적용하고 반복 실험을 기반으로 평균 정확도와 표준편차를 보고한다.
• 무작위로 생성된 DNA 서열의 길이를 다양하게 변화시켜 특성 추출에 최적의 문자열 길이를 도출한다.

실험 결과

연구 질문

• RQ1 레벤슈타인 거리를 사용하는 무작위 DNA 서브서열 기반 특성 추출 방법이 바이러스성 DNA 서열 분류에서 생물학적으로 유래한 프라이머를 효과적으로 대체할 수 있는가?
• RQ2 다양한 바이러스성 DNA 데이터셋에서 제안된 레벤슈타인 기반 방법이 기존의 3-그램 방법 및 딥러닝 모델(CNN, DNN, N-gram)과 비교해 어떻게 성능을 내는가?
• RQ3 특성 추출 방법의 성능은 특히 SARS-CoV-2와 같은 작은 데이터셋에서 데이터셋 크기에 따라 크게 달라지는가?
• RQ4 각 특성 추출 방법과 조합되었을 때 어떤 기계학습 알고리즘(SVM, Adaboost, CNN, DNN, N-gram)이 가장 높은 정확도를 기록하는가?
• RQ5 레벤슈타인 기반 특성 추출 방법에 사용되는 무작위로 생성된 DNA 서열의 최적 길이가 일관되게 존재하는가?

주요 결과

• 3-그램 특성 추출 방법을 SVM 또는 Adaboost와 조합한 결과, 간염 C 데이터셋에서 평균 정확도 99.90% ± 0.32를 기록했고, 인플루엔자/코로나바이러스 데이터셋에선 99.99% ± 0.02를 기록했다.
• 가장 작은 SARS-CoV-2 데이터셋(292개 샘플)에서 레벤슈타인 거리 기반 무작위 DNA 서열 방법이 97.26% ± 3.34의 정확도를 기록하여 두 번째로 높은 성능을 보인 3-그램 방법보다 4.3个百分点 높았다.
• 3-그램 방법은 더 큰 데이터셋에서 일관되게 뛰어난 성능을 보였으며, 네 개의 데이터셋 중 세 곳에서 거의 완벽한 정확도(99.7% 이상)를 기록했다.
• 딥러닝 모델(CNN 및 DNN)은 더 큰 데이터셋에서는 높은 정확도(98.50%에서 99.97%)를 기록했지만, 가장 작은 SARS-CoV-2 데이터셋에선 성능이 열등했으며, DNN는 오직 90.12% ± 4.11의 정확도를 기록했다.
• N-gram 확률 모델은 모든 데이터셋에서 높은 정확도(99.10%에서 99.97%)를 기록하여 시퀀스 모델링 과제에서 뛰어난 성능을 보였다.
• 특정 기계학습 알고리즘이 모든 데이터셋과 특성 추출 방법에서 일관되게 뛰어난 성능을 내지는 않았지만, SVM과 Adaboost는 3-그램 방법과 가장 경쟁력 있는 성능을 보였다.