[논문 리뷰] Deep Motif: Visualizing Genomic Sequence Classifications

Jack Lanchantin, Ritambhara Singh외 2명|arXiv (Cornell University)|2016. 05. 04.

Genomics and Chromatin Dynamics참고 문헌 12인용 수 60

한 줄 요약

딥 모티프(DeMo)는 게놈 서열 내 전사 인자 결합 부위(TFBS)를 분류하는 데 최신 기술 수준의 성능을 달성하는 딥 컨volution/하이웨이 MLP 모델을 소개한다. 최적화 기반 입력 역전파를 통해 일반화 가능하고 해석 가능한 모티프(위치 가중치 행렬로 시각화)를 추출하며, 108개의 TF 데이터셋 중 92개에서 정확도와 모티프 품질 측면에서 이전 방법을 뛰어넘는다. JASPAR 기준 모티프와의 비교에서도 57개 중 29개에서 동등하거나 슈퍼리어한 성능를 보였다.

ABSTRACT

This paper applies a deep convolutional/highway MLP framework to classify genomic sequences on the transcription factor binding site task. To make the model understandable, we propose an optimization driven strategy to extract "motifs", or symbolic patterns which visualize the positive class learned by the network. We show that our system, Deep Motif (DeMo), extracts motifs that are similar to, and in some cases outperform the current well known motifs. In addition, we find that a deeper model consisting of multiple convolutional and highway layers can outperform a single convolutional and fully connected layer in the previous state-of-the-art.

연구 동기 및 목표

• 딥 러닝을 활용해 전사 인자 결합 부위(TFBS)의 게놈 서열 분류 정확도를 향상시키는 것.
• 특정 훈련 서열에 의존하지 않고, 양성 TFBS 클래스를 대표하는 일반화 가능하고 해석 가능한 모티프를 생성하는 방법을 개발하는 것.
• 기존 딥 러닝 접근법(예: DeepBind)에서 나타나는 얕은 모델의 한계와 일반화 불가능한 모티프 추출 문제를 극복하는 것.
• 유전체 분야에 적용된 딥 네트워크에서 학습된 패턴에 대한 시각적 및 생물학적 해석을 제공하는 것.
• 하이퍼커넥션을 갖춘 더 깊은 아키텍처가 얕은 모델 대비 TFBS 분류 성능 향상에 기여하는지 입증하는 것.

제안 방법

• 128개 필터, 길이 5의 컨볼루션 레이어 3개와 각각 32개 유닛을 가진 완전 연결 하이웨이 레이어 5개로 구성된 딥 컨볼루션/하이웨이 MLP 아키텍처.
• 일반화된 핵산 서열(아연, 시토신, 구아닌, 티미딘)을 원-핫 인코딩한 후, 계층적인 서열 표현을 학습하기 위해 다중 레이어를 통과시킴.
• 모티프 생성을 위한 최적화: 입력 행렬 S를 역전파를 통해 최적화하여, 모델이 양성 TFBS로 예측할 확률을 최대화함. 초기화는 균일 분포(0.25)에서 시작.
• 최적화된 S 행렬을 [0,1] 범위로 클리핑하고, 라플라스 스무딩을 사용해 위치 가중치 행렬(PWM)으로 변환하여 학습된 모티프를 시각화함.
• 이 방법은 특정 테스트 서열에 종속되지 않으며, 개별 인스턴스 활성화가 아닌 양성 클래스 패턴에 대한 일반화 가능성을 보장함.
• 모티프 유사도 평가에 톰톰(Tomtom, 통계적 모티프 매칭용)과 AMA(테스트 서열에서의 모티프 유사도 스코어링)를 사용해 JASPAR 기준 모티프와 비교함.

실험 결과

연구 질문

• RQ1 딥 컨볼루션 및 하이웨이 MLP 아키텍처가 DeepBind와 같은 얕은 모델 대비 TFBS 분류 정확도 향상에 기여하는가?
• RQ2 최적화 기반 입력 역전파를 통해 특정 입력 서열에 종속되지 않고 일반화 가능하고 생물학적으로 의미 있는 모티프를 생성할 수 있는가?
• RQ3 DeMo가 생성한 모티프는 기존 JASPAR 모티프와 비교해 얼마나 유사하고, 예측 능력이 뛰어나게 되는가?
• RQ4 더 깊은 아키텍처를 사용함으로써 유전체 서열에서의 장거리 의존성 모델링이 향상되어 TFBS 분류 성능 향상에 기여하는가?
• RQ5 체계적인 모티프 추출 전략을 통해 딥 러닝 모델의 생물학적 해석 가능성은 향상될 수 있는가? 이는 정확성과 생물학적 관련성 모두를 충족해야 한다.

주요 결과

• DeMo는 108개 TF 데이터셋 중 92개에서 AUC 측면에서 DeepBind를 뛰어넘었으며, 중앙값 AUC는 0.951로 DeMo의 성능이 DeepBind의 0.931보다 뛰어남.
• 57개의 테스트 TF 중 36개에서 DeMo가 생성한 모티프는 톰톰을 사용해 JASPAR 모티프와 유의미하게 유사함(q-value < 0.5), 생물학적 유사성 높음.
• AMA를 통한 모티프 유사도 스코어링에서, JASPAR가 더 큰 커리티드 데이터셋을 사용했음에도 불구하고, 57개 중 29개의 TF에서 DeMo의 모티프가 테스트 서열의 50% 이상에서 JASPAR 모티프를 초월함.
• 최적화 기반 모티프 추출 방법은 밀도 높은 입력 행렬을 생성하며, 이를 PWM으로 변환할 경우 기존 전사 인자 결합 선호도와 일치하는 생물학적으로 해석 가능한 패턴을 도출함.
• 하이웨이 연결을 갖춘 딥 아키텍처는 더 나은 특징 추상화와 향상된 분류 성능를 가능하게 하여, 복잡한 유전체 서열 패턴을 모델링하는 데 깊이의 이점이 있음을 입증함.
• DeMo의 모티프 생성은 특정 테스트 예시에 종속되지 않으며, 활성화 기반 방법보다 생물학적 해석에 더 적합한 일반화 능력을 지님.