[논문 리뷰] Deep Learning for Metagenomic Data: using 2D Embeddings and Convolutional Neural Networks

Thanh Hai Nguyen, Yann Chevaleyre외 3명|arXiv (Cornell University)|2017. 12. 01.

Gene expression and cancer classificationBiochemistry, Genetics and Molecular Biology참고 문헌 27인용 수 17

한 줄 요약

이 논문은 메타게놈 데이터를 계통발생적 순서 또는 t-SNE 임bedding를 사용하여 2차원 이미지 표현으로 변환하는 딥러닝 프레임워크 MET2IMG를 제안한다. 이를 통해 병변 예측에 효과적인 컨volutional 신경망(CNN)을 적용할 수 있다. 이 방법은 6개의 메타게놈 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, t-SNE 기반 이미지에 적용한 2D CNN이 전통적인 기계학습 방법과 원시 데이터를 초월하여 특히 IBD와 T2D와 같은 복잡한 상태에서 뛰어난 성능을 보였다.

ABSTRACT

Deep learning (DL) techniques have had unprecedented success when applied to images, waveforms, and texts to cite a few. In general, when the sample size (N) is much greater than the number of features (d), DL outperforms previous machine learning (ML) techniques, often through the use of convolution neural networks (CNNs). However, in many bioinformatics ML tasks, we encounter the opposite situation where d is greater than N. In these situations, applying DL techniques (such as feed-forward networks) would lead to severe overfitting. Thus, sparse ML techniques (such as LASSO e.g.) usually yield the best results on these tasks. In this paper, we show how to apply CNNs on data which do not have originally an image structure (in particular on metagenomic data). Our first contribution is to show how to map metagenomic data in a meaningful way to 1D or 2D images. Based on this representation, we then apply a CNN, with the aim of predicting various diseases. The proposed approach is applied on six different datasets including in total over 1000 samples from various diseases. This approach could be a promising one for prediction tasks in the bioinformatics field.

연구 동기 및 목표

• 특징 수(d)가 표본 수(N)에 비해 매우 큰 메타게놈 데이터에 딥러닝을 적용할 때 발생하는 과적합 문제를 해결하기 위해.
• 계통발생적 순서와 t-SNE 임베딩를 활용해 생물학적 구조를 유지하면서도 의미 있는 2차원 이미지 표현을 개발하기 위해.
• 이러한 합성 이미지에 2차원 CNN을 적용하면 기존의 기계학습 방법(예: 랜덤 포레스트, SVM)보다 분류 성능이 뛰어나다는 것을 입증하기 위해.
• 표현 방식(다양도 대비 존재 여부)과 네트워크 아키텍처(1D 대비 2D 컨볼루션)가 예측 정확도에 미치는 영향을 평가하기 위해.

제안 방법

• 메타게놈의 다양도 데이터를 '채우기' 시각화 방식으로 2차원 이미지로 변환: 종들은 계통발생수 나무에 따라 정렬되고, 왼쪽에서 오른쪽, 위에서 아래로 행 방향으로 채워지며, 로그 스케일의 색상 기반 다양도 구간이 사용된다.
• 고차원 메타게놈 샘플을 2차원 공간으로 압축하기 위해 t-SNE 차원 감소 기법을 적용하여 국소 유사성을 유지하고, 색상으로 종의 다양도 또는 존재 여부를 표현한 이미지로 시각화한다.
• 이러한 이미지 표현에 대해 2D 및 1D 컨volutional 신경망(CNN)을 훈련시키며, 아키텍처로는 2D의 경우 5개의 컨볼루션 레이어, 1D의 경우 2개의 레이어를 사용하고, 각각 20개의 필터와 ReLU 활성화 함수를 적용한다.
• 공간 차원을 유지하기 위해 워드 컨볼루션을 사용하고, 2x2, 스트라이드 2의 최대 풀링을 적용하여 특징 맵을 다운샘플링한 후, 완전 연결 레이어와 이진 분류를 위한 LogSoftMax 출력 레이어를 연결한다.
• 이중 출력 전략을 사용: 이중 노드 출력에 LogSoftMax와 교차 엔트로피 손실을 적용하거나, 단일 노드 출력에 시그모이드와 이진 교차 엔트로피를 적용한다. 최종 모델에서는 이중 노드 방식이 더 우수한 성능을 보여 이를 사용하였다.
• 확률적 경사 하강법(SGD)과 Adam 옵timizer를 사용하여 모델 최적화를 수행하였으며, 미니배치 크기 16, 학습률 0.0005, 모멘타임 0.1, 가중치 감소 1e-5를 설정하였다.

실험 결과

연구 질문

• RQ1 고차원성과 낮은 표본 수의 특성을 지닌 메타게놈 데이터에 대해, 2차원 이미지 표현을 통해 컨볼루션 신경망의 효과적인 훈련이 가능한가?
• RQ2 계통발생적 순서(PLG)와 t-SNE 임베딩 간의 다른 데이터 표현 방식이 CNN 기반 질병 예측 모델의 성능에 어떤 영향을 미치는가?
• RQ3 메타게놈 데이터를 이미지로 변환한 후 2D 컨볼루션을 적용하는 것이 원시 데이터에 대한 1D 컨볼루션 또는 완전 연결 네트워크보다 분류 정확도에서 뛰어나게 되는가?
• RQ4 이미지 기반 표현 방식이 메타게놈 데이터셋에서 최신 기술 수준의 기계학습 방법(예: 랜덤 포레스트, SVM)에 비해 예측 성능을 얼마나 향상시키는가?
• RQ5 다양도(ABD) 기반 표현과 존재 여부(PRE) 기반 표현이 다양한 질병에서 모델 성능에 어떤 영향을 미치는가?

주요 결과

• MET2IMG 프레임워크는 6개의 메타게놈 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, t-SNE 기반 이미지에 2D CNN을 적용한 결과, 랜덤 포레스트나 SVM과 같은 전통적인 기계학습 방법을 초월하였다.
• IBD 데이터셋에서는 t-SNE 이미지에 2D CNN을 적용한 결과 81.8%의 정확도(PRE 기반, Con2D)를 기록하여, 이전 최고 성능인 MetAML의 80.9%를 넘어서며 기준 모델 대비 가장 높은 향상을 보였다.
• T2D 데이터셋에서는 t-SNE 기반 이미지에 PRE 표현을 적용한 2D CNN이 71.1%의 정확도를 기록했으며(Con2D, t-SNE), 기존 최고 기록인 MetAML의 70.3%를 초월하여 복잡한 대사성 질환에서 뛰어난 성능을 보였다.
• 모든 데이터셋에서 2D 컨볼루션은 1D 컨볼루션보다 뛰어난 성능을 보였으며, 이는 2D 이미지 표현의 공간적 구조가 특징 학습을 향상시킨다는 것을 시사한다.
• t-SNE 기반 이미지 표현은 겹침 현상을 방지하고 성능을 향상시키기 위해 높은 이미지 해상도(예: 64x64)가 필요했지만, 이는 PLG 방법 대비 더 많은 계산 자원을 소모한다는 점에서 비용이 더 들었다.
• 2D CNN에 이중 노드 LogSoftMax 출력 레이어를 사용한 결과가 단일 노드 시그모이드 방식보다 더 뛰어난 성능을 보였으며, 이는 이진 분류 문제에서 이중 노드 방식이 더 유리함을 확인시켰다.