[論文レビュー] DeepDiff: Deep-learning for predicting Differential gene expression from histone modifications

Arshdeep Sekhon, Ritambhara Singh+1 more|arXiv (Cornell University)|Jul 10, 2018

Genomics and Chromatin Dynamics参考文献 9被引用数 3

ひとこと要約

DeepDiffは、細胞系に跨るヒストン修飾シグナルから遺伝子発現の差を予測するアテンションベースのディープラーニングモデルを導入する。階層的LSTMと二段階のアテンションを活用することで、ヒストンマーク間の空間的依存性と組み合わせ的効果を捉え、Roadmap Epigenomicsデータ上での差別的発現予測において、最先端の手法を著しく上回る性能を発揮する。

ABSTRACT

Computational methods that predict differential gene expression from histone modification signals are highly desirable for understanding how histone modifications control the functional heterogeneity of cells through influencing differential gene regulation. Recent studies either failed to capture combinatorial effects on differential prediction or primarily only focused on cell type-specific analysis. In this paper, we develop a novel attention-based deep learning architecture, DeepDiff, that provides a unified and end-to-end solution to model and to interpret how dependencies among histone modifications control the differential patterns of gene regulation. DeepDiff uses a hierarchy of multiple Long short-term memory (LSTM) modules to encode the spatial structure of input signals and to model how various histone modifications cooperate automatically. We introduce and train two levels of attention jointly with the target prediction, enabling DeepDiff to attend differentially to relevant modifications and to locate important genome positions for each modification. Additionally, DeepDiff introduces a novel deep-learning based multi-task formulation to use the cell-type-specific gene expression predictions as auxiliary tasks, encouraging richer feature embeddings in our primary task of differential expression prediction. Using data from Roadmap Epigenomics Project (REMC) for ten different pairs of cell types, we show that DeepDiff significantly outperforms the state-of-the-art baselines for differential gene expression prediction. The learned attention weights are validated by observations from previous studies about how epigenetic mechanisms connect to differential gene expression. Codes and results are available at \url{deepchrome.org}

研究の動機と目的

• ヒストン修飾シグナルから細胞系に跨る差別的遺伝子発現を予測する統合的でエンドツーエンドのディープラーニングフレームワークの構築。
• ゲノムに沿った複数のヒストン修飾の組み合わせ的相互作用と空間的依存性のモデル化。
• 細胞系特異的遺伝子発現を補助タスクとして用いるマルチタスク学習の定式化により、特徴表現の向上。
• 関連するヒストンマークと重要なゲノム領域を強調するアテンション重みを学習することで解釈可能性の向上。
• 先行研究から得られた知見に基づく既知のエピジェネティック機構と一致するアテンションパターンを用いて、モデルの生物学的妥当性を検証。

提案手法

• 転写開始部位（TSS）を中心に10,000 bp領域にわたるヒストン修飾シグナルの空間的構造を、長短記憶ネットワーク（LSTM）の階層的構造で符号化する。
• 二段階のアテンションを導入：一つは関連するヒストン修飾を特定し、もう一つは各マークのシグナル内での重要なゲノム位置を同定する。
• マルチタスク学習フレームワークを採用し、主タスクの差別的発現予測の特徴埋め込みを強化するために、細胞系特異的発現予測を補助タスクとして用いる。
• セル系間の表現を整えるためにシアン方式ネットワークとコントラスト損失を適用し、汎化性能を向上させる。
• 主回帰タスク（差別的発現）と補助タスク（細胞系特異的発現の回帰または分類）の共同最適化により、エンドツーエンドでモデルを訓練する。
• 性能比較の主評価指標としてピアソン積率相関係数（PCC）を用いる。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、ゲノムワイドなヒストン修飾シグナルから、組み合わせ的および空間的依存性を捉えつつ、差別的遺伝子発現を効果的に予測できるか？
• RQ2 DeepDiffのアテンション機構は、差別的調節に関与する生物学的に関連するヒストンマークとゲノム領域をどのように特定するか？
• RQ3 細胞系特異的遺伝子発現を補助タスクとして組み込むことで、差別的発現予測の性能と頑健性はどの程度向上するか？
• RQ4 DeepDiffが学習するアテンション重みは、既知のエピジェネティック機構やヒストンマーク機能に関する先行生物学的知見と一致するか？
• RQ5 予測精度と解釈可能性の観点から、DeepDiffは既存の最先端手法と比べてどのように差をつけるか？

主な発見

• DeepDiffは、Roadmap Epigenomicsプロジェクトの10個の細胞系ペアにおいて、差別的遺伝子発現予測で最先端のベースラインを著しく上回る。
• 分類ベースの細胞系特異的補助タスクを用いた場合、平均PCCが179.17、中央値PCCが192.33に達し、二層構造のSVRベースラインを上回る。
• DeepDiffが学習するアテンション重みは、既存の生物学的知識と一致する：H3K4me3はプロモーター付近で優先され、H3K4me1はエンハンサー付近で、H3K27me3は発現抑制領域付近で強調される。
• 細胞系特異的発現を補助タスクとして用いるマルチタスク学習により、特徴表現が向上し、予測精度が向上する。
• 階層的LSTMアーキテクチャは、TSSを中心に10 kbのゲノム領域にわたるヒストン修飾シグナルの長距離依存性を効果的にモデル化する。
• モデルのアテンション機構は、重要な制御領域とヒストンマークを的確に同定でき、差別的遺伝子調節メカニズムに関する解釈可能なインサイトを提供する。