[논문 리뷰] Genetic Architect: Discovering Genomic Structure with Learned Neural Architectures

Laura Deming, Sasha Targ외 3명|arXiv (Cornell University)|2016. 05. 23.

RNA and protein synthesis mechanisms참고 문헌 16인용 수 12

한 줄 요약

이 논문은 유전체 분석을 위해 반복적으로 아키텍처 구성 요소를 탐색함으로써 최적의 딥러닝 아키텍처를 자동으로 발견하는 신경망 아키텍처 탐색 프레임워크인 Genetic Architect를 소개한다. 이 프레임워크는 유전자 발현 예측에서 최신 기술을 능가하며, 생물학적으로 해석 가능한 서열 모티프를 식별하고, 오직 RNA-seq 데이터만을 사용하여 인간이 이해할 수 있는 기능적 유전체 요소의 시각화를 학습한다.

ABSTRACT

Each human genome is a 3 billion base pair set of encoding instructions. Decoding the genome using deep learning fundamentally differs from most tasks, as we do not know the full structure of the data and therefore cannot design architectures to suit it. As such, architectures that fit the structure of genomics should be learned not prescribed. Here, we develop a novel search algorithm, applicable across domains, that discovers an optimal architecture which simultaneously learns general genomic patterns and identifies the most important sequence motifs in predicting functional genomic outcomes. The architectures we find using this algorithm succeed at using only RNA expression data to predict gene regulatory structure, learn human-interpretable visualizations of key sequence motifs, and surpass state-of-the-art results on benchmark genomics challenges.

연구 동기 및 목표

• 깊이 학습 아키텍처를 설계하는 데 있어, 기초 데이터 구조가 잘 이해되지 않은 유전체 분야의 과제를 해결하기 위해.
• 인간이 설계한 사전 지식에 의존하지 않고 최적의 아키텍처를 학습하는 탐색 프레임워크를 개발하기 위해.
• 유전자 조절 기능 예측에 핵심적인 고성능 모델과 해석 가능한 서열 모티프를 동시에 식별하기 위해.
• 오직 유전자 발현 데이터만을 사용하여 표준 유전체 분석 과제에서 최신 기술을 뛰어넘는 성능을 달성하기 위해.

제안 방법

• 프레임워크는 표준 및 고급 신경망 구성 요소(예: 컨볼루션, 잔차 블록, 어텐션 메커니즘, RNN, 완전 연결 층 등)에 대해 반복적인 아키텍처 탐색을 수행한다.
• 하이퍼파라미터(예: 필터 수, 커널 크기, 풀링 유형, 정규화, 드롭아웃, 활성화 함수 등)를 탐색하기 위해 베이지안 최적화 기반의 탐색 전략을 사용한다.
• 잔차 연결, 어텐션 모듈, 양방향 RNN, 글로벌 풀링 전략 등 아키텍처 선택 사항을 포함한 탐색 공간을 구성한다.
• 표적은 발현 수준인 프로모터 서열 데이터를 사용해 모델을 훈련하고 평가하며, 성능 평가를 위해 교차검증을 적용한다.
• 어텐션 가중치와 컨볼루션 필터 패atters를 분석하여 기능적 핵심 모티프를 식별함으로써 해석 가능한 시각화를 생성한다.
• 상위 성능 모델들 중에서 가장 중요한 하이퍼파라미터와 아키텍처 선택 사항을 강조하기 위해 의사결정트리 기반의 시각화 도구를 활용한다.

실험 결과

연구 질문

• RQ1 도메인 특화 아키텍처 사전 지식에 의존하지 않고 신경망 아키텍처 탐색 프레임워크가 유전체 분야의 최적 딥러닝 아키텍처를 발견할 수 있는가?
• RQ2 프로모터 서열에서의 유전자 발현 예측 성능을 높이는 데 가장 예측력 있는 아키텍처 구성 요소와 하이퍼파라미터는 무엇인가?
• RQ3 발견된 모델들이 인간 전문가가 이해할 수 있는 생물학적으로 의미 있는 서열 모티프를 식별할 수 있는가?
• RQ4 수동으로 설계된 모델과 비교해 자동으로 발견된 아키텍처의 성능은 표준 유전체 분석 벤치마크에서 어떻게 나타나는가?
• RQ5 학습된 아키텍처 내 어텐션 메커니즘과 컨볼루션 필터는 비코딩 DNA 내 기능적 조절 요소를 어느 정도 드러낼 수 있는가?

주요 결과

• Genetic Architect는 오직 RNA-seq 데이터만을 입력으로 사용하여도 유전자 발현 예측 과제에서 최신 기술을 뛰어넘는 아키텍처를 발견하였다.
• 프레임워크는 어텐션과 컨볼루션 필터 시각화를 통해 생물학적으로 관련된 서열 모티프를 성공적으로 식별하여 기능적 요소의 인간 해석 가능성을 확보하였다.
• TSS 주변 ±1kb 범위의 프로모터 영역에서 훈련된 모델은 11개의 면역세포 계통에서의 선별적 유전자 발현 예측에 높은 정확도를 달성하였다.
• 최고 성능을 보인 아키텍처들은 일관되게 잔차 블록, 어텐션 메커니즘, 배치 정규화와 ELU 활성화 함수를 사용한 3x1 또는 5x1 컨볼루션을 활용하였다.
• 탐색 과정에서 어텐션 메커니즘과 잔차 연결이 모델 성능 향상과 일반화 능력 향상에 크게 기여하는 것으로 드러났다.
• 프레임워크의 시각화 도구는 상위 20퍼센트 성능 모델에서 가장 영향력 있는 하이퍼파라미터로 필터 수(64), 어텐션 사용 여부, 드롭아웃 비율(0.2–0.3)을 식별하였다.