[논문 리뷰] Convolutional Kitchen Sinks for Transcription Factor Binding Site Prediction

Alyssa Morrow, Vaishaal Shankar외 4명|arXiv (Cornell University)|2017. 05. 31.

Genomics and Chromatin Dynamics참고 문헌 9인용 수 14

한 줄 요약

이 논문은 i.i.d. 가우시안 가중치를 갖는 단일층 컨볼루션 네트워크에서 유도된 무작위 특징 매핑을 사용하여 전사 인자 결합 부위를 빠르고 정확하게 예측하는 데 사용할 수 있는 컨volutional 키친 싱크(Convolutional Kitchen Sinks, CKS)를 소개한다. CKS는 여섯 개의 ENCODE 데이터셋 중 다섯 개에서 최신의 딥러닝 모델들을 능가하며, 학습 시간이 1/8 미만으로 소요된다.

ABSTRACT

We present a simple and efficient method for prediction of transcription factor binding sites from DNA sequence. Our method computes a random approximation of a convolutional kernel feature map from DNA sequence and then learns a linear model from the approximated feature map. Our method outperforms state-of-the-art deep learning methods on five out of six test datasets from the ENCODE consortium, while training in less than one eighth the time.

연구 동기 및 목표

• DNA 서열로부터 전사 인자 결합 부위를 계산적으로 효율적이고 정확하게 예측할 수 있는 방법을 개발하는 것.
• 데이터셋 크기에 따라 O(n²)로 증가하는 전통적인 스트링 커널 방법의 높은 계산 비용과 학습 복잡도를 해결하는 것.
• DeepBind과 같은 딥러닝 모델을 개선하여 학습 시간을 단축하면서도 예측 성능를 유지하거나 향상시키는 것.
• 심층 CNN 아키텍처에 비해 복잡한 하이퍼파rameter 튜닝이 필요 없이도 단순하고 확장 가능한 대안을 제공하는 것.
• 무작위 특징 투영을 통해 강건한 시퀀스 표현을 학습함으로써 다양한 세포적 맥락 간 일반화를 가능하게 하는 것.

제안 방법

• DNA 서열에서 특징 매핑을 생성하기 위해 i.i.d. 가우시안 가중치를 N(0, γIₙ)에서 샘플링한 단일층 무작위 컨볼루션 신경망을 사용한다.
• 각 필터는 입력 서열과 컨볼루션되며, 결과는 U(0, 2π)에서 샘플링된 무작위 단위 이동과 함께余弦 활성화 함수를 통과한다.
• 최종 특징 표현은 모든 필터의 코사인 변환 출력을 평균화하고, 필터 수 M에 대해 √(2/M)로 스케일링하여 얻는다.
• 이러한 무작위 특징 매핑에 대해 L2 정규화를 적용한 선형 분류기를 학습하여 유전자 결합 여부를 구분하는 이진 분류 문제를 해결한다.
• 커널 근사화는 컨볼루션 n-그램 커널에 기반하며, 가우시안 가중 히프닝 거리로 부분 서열 간 유사도를 측정한다.
• 이 방법은 Rahimi & Recht(2009)의 무작위 키친 싱크를 시퀀스 데이터의 컨볼루션 구조에 적합하게 응용한 것이다.

실험 결과

연구 질문

• RQ1 고정된 랜덤 가중치를 갖는 단일층 컨볼루션 네트워크가 딥러닝 모델들과 경쟁 가능한 성능을 보일 수 있는가?
• RQ2 제안된 방법이 대규모 유전체 데이터셋에서 예측 정확도를 유지하거나 향상시키면서도 학습 시간을 크게 단축시킬 수 있는가?
• RQ3 다양한 전사 인자와 세포 유형 조합에서 CKS의 성능이 DeepBind과 같은 최신 딥러닝 모델들과 비교해 어떻게 되는가?
• RQ4 재학습 없이도 다양한 세포적 맥락 간 일반화 능력이 어느 정도인지?
• RQ5 컨볼루션 환경에서의 무작위 특징 투영이 정확한 전사 인자 결합 예측을 위해 필요한 공간 불변성과 시퀀스 특이성을 유지할 수 있는가?

주요 결과

• CKS는 ENCODE 컨sortium의 여섯 개 테스트 데이터셋 중 다섯 개에서 AUC 측면에서 DeepBind를 능가했으며, 모든 데이터셋에서 경쟁력 있거나 더 좋은 성능을 보였다.
• K562 세포에서 학습한 EGR1 데이터셋에서 CKS는 AUC 0.96을 기록했고, DeepBind는 0.91을 기록했으며, 학습 시간은 각각 712초와 6497초였다.
• CKS는 DeepBind 대비 1/8 미만의 시간에 학습을 완료했으며, 가장 큰 데이터셋(72,996개 서열)에서 학습 속도 향상은 약 8.5배였다.
• 소규모 테스트 세트(1000개 서열)와 대규모 ENCODE 테스트 세트(100,000개 서열) 모두에서 CKS는 DeepBind와 비교해 경쟁력 있거나 더 높은 AUC를 달성했다.
• CKS는 세포 유형 간 강력한 일반화 능력을 보였으며, H1-hESC와 HepG2에서 ATF3의 경우 AUC 0.94~0.95를 기록했고, HeLa-S3와 K562에서 CEBPB의 경우 AUC 0.99를 기록했다.
• n(컨볼루션 크기)과 M(필터 수)에 대한 하이퍼파rameter 튜닝 없이도 고정된 아키텍처를 사용했음에도 불구하고, 다양한 전사 인자와 세포선에서 일관된 성능을 기록했다.