[논문 리뷰] A Survey of Deep Learning for Scientific Discovery

Maithra Raghu, E. Schmidt|arXiv (Cornell University)|2020. 03. 26.

Machine Learning and Data Classification참고 문헌 249인용 수 58

한 줄 요약

이 설문은 데이터 모달리티 전반에 걸친 심층 학습 모델이 과학 발견에 어떻게 도움을 줄 수 있는지 검토하며, 데이터 효율성, 해석가능성, 실용적 구현 자원에 중점을 둡니다.

ABSTRACT

Over the past few years, we have seen fundamental breakthroughs in core problems in machine learning, largely driven by advances in deep neural networks. At the same time, the amount of data collected in a wide array of scientific domains is dramatically increasing in both size and complexity. Taken together, this suggests many exciting opportunities for deep learning applications in scientific settings. But a significant challenge to this is simply knowing where to start. The sheer breadth and diversity of different deep learning techniques makes it difficult to determine what scientific problems might be most amenable to these methods, or which specific combination of methods might offer the most promising first approach. In this survey, we focus on addressing this central issue, providing an overview of many widely used deep learning models, spanning visual, sequential and graph structured data, associated tasks and different training methods, along with techniques to use deep learning with less data and better interpret these complex models --- two central considerations for many scientific use cases. We also include overviews of the full design process, implementation tips, and links to a plethora of tutorials, research summaries and open-sourced deep learning pipelines and pretrained models, developed by the community. We hope that this survey will help accelerate the use of deep learning across different scientific domains.

연구 동기 및 목표

• 과학 문제에 적용 가능한 심층 학습 개념에 대한 넓고 이해하기 쉬운 개요를 제공합니다.
• 과학과 관련된 데이터 효율적인 학습 방법(자기지도 학습, 반지도 학습)과 해석 가능성 기법을 강조합니다.
• 데이터, 학습, 검증 단계를 포함한 과학 맥락의 엔드 투 엔드 심층 학습 워크플로우를 개략적으로 제시합니다.
• 과학 분야의 채택을 가속화하기 위한 구현 가이드라인, 튜토리얼, 오픈 소스 자원을 제공합니다.

제안 방법

• 심층 학습의 다양한 모델(CNN, GNN, RNN, Transformer)과 그들의 전형적인 과학 과제(분류, 분할, 정합)를 다룹니다.
• 지도 학습, 자기지도 학습, 반지도 학습, 전이 학습을 포함한 학습 방법을 논의합니다.
• 과학에 적용하기 위한 DL의 템플릿(예측, 이해, 복잡한 변환)을 제시합니다.
• 데이터 효율성 전략(증강, 잡음 제거) 및 해석 가능성/표현 분석 기법을 설명합니다.
• 구현 팁을 제공하고 커뮤니티 자원, 튜토리얼, 사전 학습 모델을 나열합니다.

실험 결과

연구 질문

• RQ1 어떤 심층 학습 모델과 과제가 특정 과학 문제에 가장 적합한가요?
• RQ2 과학 DL 응용에서 데이터 효율적인 학습과 신뢰할 수 있는 해석 가능성을 어떻게 달성할 수 있나요?
• RQ3 코드, 튜토리얼, 사전 학습 모델 등 어떤 실용 자원이 과학 도메인의 채택을 가장 빠르게 가속화하나요?
• RQ4 과학에서 DL 시스템을 설계, 검증, 배포하는 엔드 투 엔드 워크플로우는 무엇인가요?
• RQ5 다양한 과학 맥락에서 대체 ML 방법은 DL과 어떻게 비교되나요?

주요 결과

• 과학과 관련된 시각적, 연속적, 그래프 데이터의 모델, 과제, 학습 방법에 대한 구조화된 개요를 제공합니다.
• 데이터 효율적 접근법(자기지도 학습, 반지도 학습, 데이터 증강) 및 과학적 통찰에 중요한 해석 가능성 기법들을 강조합니다.
• 데이터, 학습, 검증 루프를 반복하는 엔드 투 엔드 DL 설계 프로세스를 개략적으로 제시합니다.
• 도입을 가속화하는 튜토리얼, 오픈 소스 코드, 사전 학습 모델, 커뮤니티 자원들의 큐레이션된 목록을 제공합니다.
• DL은 복잡한 변환 및 예측에 강력하지만 항상 최선의 첫 도구는 아닐 수 있다; 필요 시 대체 ML 방법을 고려할 것을 권장합니다.