[論文レビュー] Attend and Predict: Understanding Gene Regulation by Selective Attention on Chromatin

Ritambhara Singh, Jack Lanchantin+2 more|arXiv (Cornell University)|Aug 1, 2017

Genomics and Chromatin Dynamics参考文献 18被引用数 58

ひとこと要約

AttentiveChromeは、ヒストン修飾シグナルから遺伝子発現を予測し、どのマークとゲノム位置が regulation を駆動するかについて解釈可能な洞察を多くの人間細胞タイプにわたって提供する階層的注意ベースの深層学習モデルを導入します。

ABSTRACT

The past decade has seen a revolution in genomic technologies that enable a flood of genome-wide profiling of chromatin marks. Recent literature tried to understand gene regulation by predicting gene expression from large-scale chromatin measurements. Two fundamental challenges exist for such learning tasks: (1) genome-wide chromatin signals are spatially structured, high-dimensional and highly modular; and (2) the core aim is to understand what are the relevant factors and how they work together? Previous studies either failed to model complex dependencies among input signals or relied on separate feature analysis to explain the decisions. This paper presents an attention-based deep learning approach; we call AttentiveChrome, that uses a unified architecture to model and to interpret dependencies among chromatin factors for controlling gene regulation. AttentiveChrome uses a hierarchy of multiple Long short-term memory (LSTM) modules to encode the input signals and to model how various chromatin marks cooperate automatically. AttentiveChrome trains two levels of attention jointly with the target prediction, enabling it to attend differentially to relevant marks and to locate important positions per mark. We evaluate the model across 56 different cell types (tasks) in human. Not only is the proposed architecture more accurate, but its attention scores also provide a better interpretation than state-of-the-art feature visualization methods such as saliency map. Code and data are shared at www.deepchrome.org

研究の動機と目的

• 統一的な予測モデルを用いて、細胞タイプ全体でクロマチンマークが遺伝子発現をどのように調節するかを理解する。
• マーク間のモジュール的相互作用を捉えつつ、空間的に構造化された高次元のクロマチンシグナルをモデル化する。
• 遺伝子発現に影響を与えるマークとゲノム位置を識別する解釈可能な機構を提供する。

提案手法

• 各ヒストン修飾 (HM) のビンレベル信号を符号化するために、双方向LSTMの階層を使用する。
• 各 HM マーク内の重要なゲノム位置を識別するために、ビンレベルのソフトアテンションを適用する。
• HMレベルの2番目のLSTMを使用してHMマーク間の相互作用をモデル化し、重要度に応じてマークを重みづけするためにHMレベルのソフトアテンションを適用する。
• 二値の遺伝子発現予測目的（高い vs 低い）で、エンドツーエンドで全体アーキテクチャを訓練する。
• Baseline（DeepChrome、LSTM、CNNベースのモデル）とAttentiveChromeを比較し、アテンション重みによる解釈可能性を評価する。
• 学習に使用されていない独立したHM活性データとアテンションマップを相関させることで解釈可能性を検証する。

実験結果

リサーチクエスチョン

• RQ1 アテンションベースの階層モデルは、クロマチンマーク間の依存関係と位置効果を同時に学習して遺伝子発現を予測できるか？
• RQ2 ビンレベルおよびHMレベルのアテンションは、調節機構の生物学的に意味のある解釈をもたらすか？
• RQ3 多数の細胞タイプに対して最新のベースラインと比較してAttentiveChromeの性能はどうか、またそのアテンションは顕示性（サリエンシー）ベースの手法より解釈性を高められるか？

主な発見

• AttentiveChromeは56個の細胞タイプ全体でいくつかのベースラインを上回る予測性能を達成している（AUCベースの評価）。
• 2レベルのアテンション（ビンレベルとHMレベル）は、関連するゲノム位置と影響力のあるヒストンマークを自動的に特定できる。
• アテンション重みは、顕示マップやクラス最適化の視覚化より独立した活性シグナルとより強く相関し、解釈性を支持する。
• 各 HM をモジュールとして扱い、相互作用を学習することで、モジュール化された構造化入力を効果的に処理することを示す。
• 定性的分析は生物学的に整合的なパターンを示す。例: active gene では promoter marks が TSS の近くに集中し、OFF gene では抑制マークがより影響力を持つ。