[논문 리뷰] DeepGene Transformer: Transformer for the gene expression-based classification of cancer subtypes

Anwar A. Khan, Boreom Lee|arXiv (Cornell University)|2021. 08. 26.

Machine Learning in BioinformaticsBiochemistry, Genetics and Molecular Biology인용 수 17

한 줄 요약

DeepGene Transformer는 고차원적 유전자 발현 데이터로부터 직접 암 아형을 분류하기 위한 새로운 엔드 투 엔드 딥 러닝 모델을 제안한다. 이는 사전 특성 선택 없이 다중 헤드 자기주의 기반으로 관련 생물학적 마커를 식별하는 데 기반한다. 다양한 암 데이터셋에서 전통적 및 최신 기술 대비 높은 분류 정확도를 보이며, 분자 아형 분류에서 뛰어난 성능과 강건성을 입증한다.

ABSTRACT

Cancer and its subtypes constitute approximately 30% of all causes of death globally and display a wide range of heterogeneity in terms of clinical and molecular responses to therapy. Molecular subtyping has enabled the use of precision medicine to overcome these challenges and provide significant biological insights to predict prognosis and improve clinical decision-making. Over the past decade, conventional machine learning (ML) and deep learning (DL) algorithms have been widely espoused for the classification of cancer subtypes from gene expression datasets. However, these methods are potentially biased toward the identification of cancer biomarkers. Hence, an end-to-end deep learning approach, DeepGene Transformer, is proposed which addresses the complexity of high-dimensional gene expression with a multi-head self-attention module by identifying relevant biomarkers across multiple cancer subtypes without requiring feature selection as a pre-requisite for the current classification algorithms. Comparative analysis reveals that the proposed DeepGene Transformer outperformed the commonly used traditional and state-of-the-art classification algorithms and can be considered an efficient approach for classifying cancer and its subtypes, indicating that any improvement in deep learning models in computational biologists can be reflected well in this domain as well.

연구 동기 및 목표

• 고차원적 유전자 발현 데이터로부터 이질적인 암 아형을 엔드 투 엔드 딥 러닝 접근법을 사용해 분류하는 문제에 대응하기 위해.
• 분류 파ip라인에서 명시적 특성 선택이 필요 없도록 하여 사전에 선택된 생물학적 마커에 대한 편향을 줄이기 위해.
• 자기주의 기반 메커니즘을 통해 다양한 암 아형에서 관련 생물학적 마커를 자동으로 식별하는 모델을 개발하기 위해.
• 기존의 기계학습 및 딥 러닝 모델 대비 암 분자 아형 분류 성능을 향상시키기 위해.
• 특히 정밀의료에 응용될 때 트랜스포머 아키텍처의 효과성을 입증하기 위해.

제안 방법

• 모델은 고차원적 유전자 발현 데이터 내 복잡한 종속성을 포착하기 위해 다중 헤드 자기주의 기법을 사용한다.
• 차원 감소나 특성 선택 없이도 원시 유전자 발현 프로파일을 직접 처리한다.
• 유전자 순서를 입력 토큰으로 유지하기 위해 위치 인코딩을 사용한다.
• 자기주의 레이어 이후에 피드포워드 네트워크를 적용하여 표현을 정밀하게 조정한다.
• 최종 분류 헤드는 [CLS] 토큰 표현을 사용하여 소프트맥스 레이어를 통해 아형 예측을 생성한다.
• 교차 엔트로피 손실을 사용하고, 학습률 스케줄링을 적용한 AdamW 최적화를 통해 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 특성 선택에 의존하지 않고도 트랜스포머 기반 모델이 암 아형 분류에서 뛰어난 성능을 달성할 수 있는가?
• RQ2 자기주의 기법이 다양한 암 아형에서 유전자 발현 데이터 내 관련 생물학적 마커를 얼마나 잘 식별하는가?
• RQ3 제안된 DeepGene Transformer가 암 아형 분류 작업에서 확립된 기계학습 및 딥 러닝 기준 모델을 능가하는가?
• RQ4 모델이 다양한 암 유형과 데이터셋 간에 얼마나 잘 일반화되는가?
• RQ5 주의 가중치가 암 아형의 분자적 원인을 생물학적으로 해석 가능한 통찰을 제공할 수 있는가?

주요 결과

• DeepGene Transformer는 다양한 암 데이터셋에서 기존 기계학습 및 최신 딥 러닝 모델보다 높은 분류 정확도를 달성했다.
• 모델은 고분자 이질성이 높은 암 유형을 포함한 다양한 암 유형에서 강건한 성능을 보였다.
• 자기주의 기법은 사전 특성 선택 없이도 생물학적으로 관련된 유전자들을 효과적으로 식별했다.
• 비교 분석 결과, AUC 및 F1 스코어 지표에서 SVM, 랜덤 포레스트, ResNet 기반 아키텍처와 같은 모델들을 모델이 능가함을 확인했다.
• 주의 가중치는 특정 아형과 관련된 핵심 유전자 및 경로를 강조하여 설명 가능한 패턴을 제공했다.
• 엔드 투 엔드 학습 프레임워크는 특성 선택과 같은 전처리 단계가 필요 없게 하여 분류 파이프라인을 단순화시켰다.