[論文レビュー] DeepGene Transformer: Transformer for the gene expression-based classification of cancer subtypes

Anwar A. Khan, Boreom Lee|arXiv (Cornell University)|Aug 26, 2021

Machine Learning in BioinformaticsBiochemistry, Genetics and Molecular Biology被引用数 17

ひとこと要約

DeepGene Transformerは、特徴選択を必要とせずに、多様なバイオマーカーを自己注意機構を用いて特定する、変換器アーキテクチャに基づくエンドツーエンドの深層学習モデルを提案する。このモデルは、高次元の遺伝子発現データから直接がん亜型を分類するもので、複数のがんデータセットにおいて、従来の手法や最先端の手法を上回る分類精度を示し、分子的亜型分類において優れた性能と頑健性を発揮する。

ABSTRACT

Cancer and its subtypes constitute approximately 30% of all causes of death globally and display a wide range of heterogeneity in terms of clinical and molecular responses to therapy. Molecular subtyping has enabled the use of precision medicine to overcome these challenges and provide significant biological insights to predict prognosis and improve clinical decision-making. Over the past decade, conventional machine learning (ML) and deep learning (DL) algorithms have been widely espoused for the classification of cancer subtypes from gene expression datasets. However, these methods are potentially biased toward the identification of cancer biomarkers. Hence, an end-to-end deep learning approach, DeepGene Transformer, is proposed which addresses the complexity of high-dimensional gene expression with a multi-head self-attention module by identifying relevant biomarkers across multiple cancer subtypes without requiring feature selection as a pre-requisite for the current classification algorithms. Comparative analysis reveals that the proposed DeepGene Transformer outperformed the commonly used traditional and state-of-the-art classification algorithms and can be considered an efficient approach for classifying cancer and its subtypes, indicating that any improvement in deep learning models in computational biologists can be reflected well in this domain as well.

研究の動機と目的

• 高次元の遺伝子発現データから、異質ながん亜型をエンドツーエンドの深層学習的手法を用いて分類する課題に対処すること。
• 分類パイプラインにおける明示的な特徴選択を不要にすることで、事前に選択されたバイオマーカーへのバイアスを低減すること。
• 自己注意メカニズムを用いて、複数のがん亜型にわたる関連バイオマーカーを自動的に同定するモデルを開発すること。
• 従来の機械学習および深層学習モデルよりも、がんの分子的亜型分類における分類性能を向上させること。
• 変換器アーキテクチャが、特に精密医療分野において、ゲノム応用に有効であることを示すこと。

提案手法

• モデルは、高次元の遺伝子発現データ内の複雑な依存関係を捉えるために、マルチヘッド自己注意機構を採用する。
• 次元削減や特徴選択を必要とせず、生の遺伝子発現プロファイルを直接処理する。
• 遺伝子の順序を入力トークンとして保持するために、位置エンコーディングを用いる。
• 自己注意層の後にフィードフォワードネットワークを適用して、表現を精緻化する。
• 最終的な分類ヘッドは、[CLS]トークンの表現を用いてソフトマックス層で亜型予測を出力する。
• 交差エントロピー損失を用いてエンドツーエンドで学習し、AdamWを用いて最適化し、学習率スケジューリングを適用する。

実験結果

リサーチクエスチョン

• RQ1 特徴選択に依存しない変換器ベースのモデルが、がん亜型分類において優れた性能を達成できるか？
• RQ2 自己注意機構は、多様ながん亜型の遺伝子発現データにおいて、関連するバイオマーカーをどの程度効果的に同定できるか？
• RQ3 提案されたDeepGene Transformerは、がん亜型分類タスクにおいて、確立された機械学習および深層学習ベースラインを上回る性能を示すか？
• RQ4 このモデルは、異なるがん種類やデータセットにどの程度一般化できるか？
• RQ5 注意重みは、がん亜型の分子的駆動要因に関する生物学的に解釈可能なインサイトを提供できるか？

主な発見

• DeepGene Transformerは、複数のがんデータセットにおいて、従来の機械学習および最先端の深層学習モデルを上回る分類精度を達成した。
• このモデルは、分子的異質性が顕著ながん種類を含め、多様ながん種類においても頑健な性能を示した。
• 自己注意機構は、事前の特徴選択を経ずに、生物学的に関連する遺伝子を効果的に同定した。
• 比較分析により、AUCおよびF1スコアの指標において、SVM、ランダムフォレスト、ResNetベースのアーキテクチャなどのモデルを上回ることが確認された。
• 注意重みは解釈可能なパターンを提供し、特定の亜型に関連する主要な遺伝子および経路を強調した。
• エンドツーエンドの学習フレームワークにより、特徴選択などの前処理ステップの必要性が排除され、分類パイプラインが簡素化された。