[論文レビュー] A Survey of Deep Learning for Scientific Discovery

Maithra Raghu, E. Schmidt|arXiv (Cornell University)|Mar 26, 2020

Machine Learning and Data Classification参考文献 249被引用数 58

ひとこと要約

本レビューは、データモダリティを横断する深層学習モデルが科学的発見をどのように支援し得るかを概説し、データ効率性、解釈性、実用的な実装リソースを強調します。

ABSTRACT

Over the past few years, we have seen fundamental breakthroughs in core problems in machine learning, largely driven by advances in deep neural networks. At the same time, the amount of data collected in a wide array of scientific domains is dramatically increasing in both size and complexity. Taken together, this suggests many exciting opportunities for deep learning applications in scientific settings. But a significant challenge to this is simply knowing where to start. The sheer breadth and diversity of different deep learning techniques makes it difficult to determine what scientific problems might be most amenable to these methods, or which specific combination of methods might offer the most promising first approach. In this survey, we focus on addressing this central issue, providing an overview of many widely used deep learning models, spanning visual, sequential and graph structured data, associated tasks and different training methods, along with techniques to use deep learning with less data and better interpret these complex models --- two central considerations for many scientific use cases. We also include overviews of the full design process, implementation tips, and links to a plethora of tutorials, research summaries and open-sourced deep learning pipelines and pretrained models, developed by the community. We hope that this survey will help accelerate the use of deep learning across different scientific domains.

研究の動機と目的

• 科学的問題に適用可能な深層学習の概念について、広くアクセスしやすい概要を提供する。
• データ効率の高い学習法（自己教師付き学習、半教師あり学習）と科学に関連する解釈可能性技術を強調する。
• データ、学習、検証の各段階を含む、科学分野におけるエンドツーエンドの深層学習ワークフローを概説する。
• 科学分野での普及を加速するための実装ガイダンス、チュートリアル、オープンソース資源を提供する。

提案手法

• 複数の深層学習モデル（CNNs、GNNs、RNNs、Transformers）と、それらの典型的な科学的タスク（分類、セグメンテーション、登録）を調査する。
• 教師あり、自己教師付き、半教師あり、転移学習を含む学習方法を論じる。
• 科学におけるDL適用のテンプレートを提示する（予測、理解、複雑な変換）。
• データ効率化戦略（拡張、ノイズ除去）と解釈可能性/表現分析技術を説明する。
• 実装のヒントを提供し、コミュニティリソース、チュートリアル、事前学習済みモデルを列挙する。

実験結果

リサーチクエスチョン

• RQ1 どの深層学習モデルとタスクが、特定の科学問題に最も適しているか？
• RQ2 科学的DLアプリケーションにおいて、データ効率の高い学習と信頼できる解釈性をどのように達成するか？
• RQ3 実践的なリソース（コード、チュートリアル、事前学習済みモデル）の中で、科学分野での普及を最も加速するのはどれか？
• RQ4 科学分野でのDLシステム設計、検証、導入のエンドツーエンドのワークフローは何か？
• RQ5 さまざまな科学文脈において、代替的なML手法はDLとどのように比較されるか？

主な発見

• 科学に関連する視覚系、連続データ、グラフデータのモデル、タスク、学習方法の体系的な概要を提供する。
• 科学的洞察に不可欠なデータ効率的アプローチ（自己教師付き、半教師付き学習、データ拡張）と解釈可能性技法を強調する。
• 反復的なデータ、学習、検証ループを伴うエンドツーエンドのDL設計プロセスを概説する。
• 普及を加速するための、厳選されたチュートリアル、オープンソースコード、事前学習済みモデル、コミュニティリソースを提供する。
• DLは複雑な変換と予測に強力であるが、常に最初のツールとは限らない。適切な場合には代替的なML手法を検討することを推奨する。