[논문 리뷰] Attend and Predict: Understanding Gene Regulation by Selective Attention on Chromatin

Ritambhara Singh, Jack Lanchantin외 2명|arXiv (Cornell University)|2017. 08. 01.

Genomics and Chromatin Dynamics참고 문헌 18인용 수 58

한 줄 요약

AttentiveChrome은 히스톤 수정 신호로부터 유전자 발현을 예측하고 어떤 표식과 게놈 위치가 조절을 이끄는지에 대해 해석 가능한 통찰을 제공하는 계층적 어텐션 기반 딥러닝 모델을 제시한다. 이 모델은 많은 인간 세포 유형에 걸쳐

ABSTRACT

The past decade has seen a revolution in genomic technologies that enable a flood of genome-wide profiling of chromatin marks. Recent literature tried to understand gene regulation by predicting gene expression from large-scale chromatin measurements. Two fundamental challenges exist for such learning tasks: (1) genome-wide chromatin signals are spatially structured, high-dimensional and highly modular; and (2) the core aim is to understand what are the relevant factors and how they work together? Previous studies either failed to model complex dependencies among input signals or relied on separate feature analysis to explain the decisions. This paper presents an attention-based deep learning approach; we call AttentiveChrome, that uses a unified architecture to model and to interpret dependencies among chromatin factors for controlling gene regulation. AttentiveChrome uses a hierarchy of multiple Long short-term memory (LSTM) modules to encode the input signals and to model how various chromatin marks cooperate automatically. AttentiveChrome trains two levels of attention jointly with the target prediction, enabling it to attend differentially to relevant marks and to locate important positions per mark. We evaluate the model across 56 different cell types (tasks) in human. Not only is the proposed architecture more accurate, but its attention scores also provide a better interpretation than state-of-the-art feature visualization methods such as saliency map. Code and data are shared at www.deepchrome.org

연구 동기 및 목표

• 크로마틴 표식이 세포 유형 간에 유전자 발현을 어떻게 조절하는지 통합 예측 모델을 사용해 이해한다.
• 고차원적 공간적으로 구조화된 크로마틴 신호를 모델링하고 표식들 간의 모듈식 상호작용을 포착한다.
• 유의미한 표식과 게놈 위치가 유전자 발현에 어떤 영향을 미치는지 해석 가능한 기제를 제공한다.

제안 방법

• 각 히스톤 수정(HM)마다 bin 수준 신호를 인코딩하기 위해 양방향 LSTM의 계층을 사용한다.
• 각 HM 표식 내에서 중요한 게놈 위치를 식별하기 위해 bin 수준의 소프트 어텐션을 적용한다.
• HM 표식 간의 상호작용을 모델링하기 위해 두 번째 LSTM(HM-레벨)을 사용하고 표식의 중요도에 따라 HM-레벨 소프트 어텐션을 적용한다.
• 이진 유전자 발현 예측 목적(높음 vs 낮음)으로 전체 아키텍처를 끝-투-끝으로 학습한다.
• AttentiveChrome을 기반선(DeepChrome, LSTM, CNN 기반 모델)과 비교하고 어텐션 가중치를 통해 해석 가능성을 평가한다.
• 훈련에 사용되지 않은 독립적인 HM 활성 데이터와 어텐션 맵을 상관시켜 해석 가능성을 검증한다.

실험 결과

연구 질문

• RQ1 어텐션 기반의 계층적 모델이 크로마틴 표식 간의 의존성과 위치 효과를 함께 학습하여 유전자 발현을 예측할 수 있는가?
• RQ2 bin 수준의 어텐션과 HM-레벨 어텐션이 생물학적으로 의미 있는 조절 메커니즘 해석을 제공하는가?
• RQ3 AttentiveChrome은 다수의 세포 유형에서 최첨단 기준선 대비 어떤 성능을 보이며, 어텐션이 중요도 기반(Saliency) 방법보다 해석 가능성을 더 잘 제공하는가?

주요 결과

• AttentiveChrome은 56개 세포 유형에서 여러 baselines 대비 예측 성능이 더 우수하다(AUC 기반 평가).
• 두 수준의 어텐션(Bin-레벨과 HM-레벨)은 관련된 게놈 위치와 영향력 있는 히스톤 표식을 자동으로 식별한다.
• 어텐션 가중치는 샐리시 맵이나 클래스 최적화 시각화보다 독립적인 활동 신호와 더 강하게 상관되어 해석 가능성을 지지한다.
• 모듈식 구조 입력을 다루는 효과적인 모델을 보이며 각 HM을 하나의 모듈로 취급하고 이들의 상호작용을 학습한다.
• 정성적 분석은 생물학적으로 일관된 패턴을 보이며 예를 들어 활성 유전자에 대해서는 프로모터 표식이 TSS 근처에 집중되고 억제 표식이 OFF 유전자에 더 영향을 미친다.