[논문 리뷰] Deep learning in bioinformatics: introduction, application, and perspective in big data era

Yu Li, Chao Huang외 4명|arXiv (Cornell University)|2019. 02. 28.

Machine Learning in Bioinformatics참고 문헌 198인용 수 4

한 줄 요약

이 리뷰는 생물정보학 분야에서 딥러닝을 소개하며, CNN, RNN, GNN, GAN, VAE와 같은 핵심 아키텍처에 대한 이해하기 쉬운 개요를 제공하고, 다섯 가지 생물정보학 분야와 네 가지 데이터 유형에서 텐서플로우/케라스 기반 실용적 구현을 제시한다. 과적합과 해석 가능성 등의 과제를 다루며, 코드는 공개되어 있어 딥러닝이 빅데이터 기반 생물학 연구에 필수적임을 입증한다.

ABSTRACT

Deep learning, which is especially formidable in handling big data, has achieved great success in various fields, including bioinformatics. With the advances of the big data era in biology, it is foreseeable that deep learning will become increasingly important in the field and will be incorporated in vast majorities of analysis pipelines. In this review, we provide both the exoteric introduction of deep learning, and concrete examples and implementations of its representative applications in bioinformatics. We start from the recent achievements of deep learning in the bioinformatics field, pointing out the problems which are suitable to use deep learning. After that, we introduce deep learning in an easy-to-understand fashion, from shallow neural networks to legendary convolutional neural networks, legendary recurrent neural networks, graph neural networks, generative adversarial networks, variational autoencoder, and the most recent state-of-the-art architectures. After that, we provide eight examples, covering five bioinformatics research directions and all the four kinds of data type, with the implementation written in Tensorflow and Keras. Finally, we discuss the common issues, such as overfitting and interpretability, that users will encounter when adopting deep learning methods and provide corresponding suggestions. The implementations are freely available at \url{https://github.com/lykaust15/Deep_learning_examples}.

연구 동기 및 목표

• 신경망에 익숙하지 않은 생물정보학 연구자들을 대상으로 딥러닝에 대한 종합적이고 접근 가능한 소개를 제공하기 위해.
• 서열 분석, 구조 예측, 생물분자 기능 예측 등 다양한 생물정보학 분야에서 실용적인 딥러닝 응용 사례를 보여주기 위해.
• 과적합, 해석 가능성, 계산 자원 요구량과 같은 딥러닝 도입 시 흔히 발생하는 과제를 해결책과 함께 다루기 위해.
• 딥러닝 기술의 도입을 가속화하기 위해 텐서플로우와 케라스를 사용한 여덟 가지 대표적 사용 사례에 대해 오픈소스이고 재현 가능한 구현을 제공하기 위해.
• 딥러닝이 증가하는 복잡성과 스케일을 갖춘 생물학적 빅데이터를 다루는 데 혁신적인 도구로 자리매김하도록 하기 위해.

제안 방법

• 얕은 신경망에서 시작해 CNN, RNN, GAN, VAE와 같은 고급 아키텍처로 진행되는 딥러닝 기본 원리를 소개한다.
• 기본 개념에서 최신 모델까지의 단계적 교육 접근 방식을 통해 전문가가 아닌 이들에게도 접근 가능하도록 한다.
• 서열 분석, 구조 예측, 생물분자 특성/기능 예측, 생물의학 영상, 시스템 생물학의 다섯 가지 연구 분야에 딥러닝 기법을 적용한다.
• 제공된 예제에서 유전자 서열, 구조적 자료, 옴믹스 프로파일, 의료 영상의 네 가지 데이터 유형을 사용한다.
• 텐서플로우와 케라스를 사용해 모델을 구현하며, 재현성과 커뮤니티 재사용을 위해 코드를 깃허브에 배포한다.
• 모델 압축 기법—자르기, 지식 정복, 낮은 질량 분해, 컴act 필터—을 제안하여 계산 비용과 메모리 사용량을 줄인다.

실험 결과

연구 질문

• RQ1 서열 변이 예측 및 단백질 구조 모델링과 같은 생물정보학의 핵심 문제를 해결하는 데 가장 효과적인 딥러닝 아키텍처는 무엇인가?
• RQ2 작거나 노이즈가 많은 생물학적 데이터셋에서 과적합에 강하고 해석 가능한 딥러닝 모델은 어떻게 설계할 수 있는가?
• RQ3 기존 데이터로 재학습 없이 새로운 생물학적 데이터를 업데이트할 때 치명적인 잊음( catastrophic forgetting)을 방지하기 위한 전략은 무엇인가?
• RQ4 모델 압축 기법은 자원이 제한된 생물의학 컴퓨팅 환경에서 딥러닝의 배포를 어떻게 향상시킬 수 있는가?
• RQ5 기존 생물정보학 파이프라인에 딥러닝을 통합하기 위한 실용적이고 실행 가능한 워크플로우는 무엇인가?

주요 결과

• 특히 CNN과 RNN은 단백질 이차 구조 예측, 전사 인자 결합 부위 탐지, DNA 변이 영향 예측 등의 작업에서 최신 기술 수준의 성능을 달성한다.
• VAE와 GAN과 같은 생성 모델은 복잡한 생물학적 서열을 모델링하고 생물학적으로 타당한 합성 데이터를 생성하는 데 잠재력을 보인다.
• 그래프 신경망(GNN)과 메시지 전달 아키텍처는 생물분자 상호작용과 시스템 수준의 생물학적 네트워크를 효과적으로 모델링한다.
• 자르기와 지식 정복과 같은 모델 압축 기법은 모델 크기와 추론 시간을 크게 줄여 엣지 디바이스 및 임상 환경에서의 배포를 가능하게 한다.
• 딥러닝 기반 베이지안 추론(DLBI 등)의 통합은 초해상도 현미경 영상 복원을 가속화하면서 정확도를 유지한다.
• 저자들은 전이 학습과 지속적 학습 전략이 치명적인 잊음을 줄이고, 이전 데이터에 대한 성능를 유지하면서 새로운 생물학 지식에 적응하는 데 성공했다고 입증한다.