[论文解读] Deep Learning -- A first Meta-Survey of selected Reviews across Scientific Disciplines, their Commonalities, Challenges and Research Impact

Jan Egger, Antonio Pepe+4 more|arXiv (Cornell University)|Nov 16, 2020

COVID-19 diagnosis using AI参考文献 115被引用 34

一句话总结

本篇元综述综合分析了计算机视觉、自然语言处理、医学信息学及跨学科领域共61篇深度学习综述论文，梳理了该领域的发展脉络、主流架构、核心挑战与研究影响力。研究发现，该领域出版物呈现爆发式增长——截至2020年第三季度，PubMed中关于“深度学习”的文献结果已超过11,000篇，其中90%来自过去三年。研究识别出各子领域的关键趋势、局限性与未来方向，提供了深度学习在科学与实践层面影响的高层次、分类化概览。

ABSTRACT

Deep learning belongs to the field of artificial intelligence, where machines perform tasks that typically require some kind of human intelligence. Similar to the basic structure of a brain, a deep learning algorithm consists of an artificial neural network, which resembles the biological brain structure. Mimicking the learning process of humans with their senses, deep learning networks are fed with (sensory) data, like texts, images, videos or sounds. These networks outperform the state-of-the-art methods in different tasks and, because of this, the whole field saw an exponential growth during the last years. This growth resulted in way over 10,000 publications per year in the last years. For example, the search engine PubMed alone, which covers only a sub-set of all publications in the medical field, provides already over 11,000 results in Q3 2020 for the search term 'deep learning', and around 90% of these results are from the last three years. Consequently, a complete overview over the field of deep learning is already impossible to obtain and, in the near future, it will potentially become difficult to obtain an overview over a subfield. However, there are several review articles about deep learning, which are focused on specific scientific fields or applications, for example deep learning advances in computer vision or in specific tasks like object detection. With these surveys as a foundation, the aim of this contribution is to provide a first high-level, categorized meta-survey of selected reviews on deep learning across different scientific disciplines. The categories (computer vision, language processing, medical informatics and additional works) have been chosen according to the underlying data sources (image, language, medical, mixed). In addition, we review the common architectures, methods, pros, cons, evaluations, challenges and future directions for every sub-category.

研究动机与目标

• 由于该领域呈指数级增长及信息过载，旨在提供一个高层次、分类化的深度学习综述文献元综述。
• 通过引文与参考文献数量分析选定的深度学习综述的研究影响力，以反映其在特定领域内的影响。
• 识别出计算机视觉、自然语言处理与医学信息学等子领域中常见的深度学习架构、方法、优势、劣势、评估实践与挑战。
• 基于所综述文献的整合发现，提出未来研究方向与关键挑战（如可解释性、泛化能力与伦理风险）。
• 为研究人员提供一个整合的、结构化的参考点，以应对快速扩展的深度学习研究格局。

提出的方法

• 在IEEE Xplore、Scopus、DBLP、PubMed、Web of Science、Google Scholar等多个数据库中，使用关键词“Deep Learning”与“Review”或“Survey”进行检索。
• 筛选标题与摘要，排除非综述类文献，最终确定61篇综述/调查类出版物用于分析。
• 根据数据模态将综述划分为四大主要领域：计算机视觉、自然语言处理、医学信息学，以及额外的跨学科研究。
• 从每篇综述中提取并分析关键信息，包括参考文献、引文数、主流架构、方法、优势、劣势、评估指标与挑战。
• 将研究发现整合为结构化表格与摘要，以支持子领域间的高层次对比，并评估研究影响力。
• 纳入部分高被引预印本，以捕捉尚未经过同行评审但已具影响力的新兴成果。

实验结果

研究问题

• RQ1 在计算机视觉、自然语言处理与医学信息学等主要科学领域中，主导的深度学习架构与方法是什么？
• RQ2 如何通过引文与参考文献数量量化深度学习综述的研究影响力？这揭示了该领域增长与影响力的哪些特征？
• RQ3 在不同领域中，深度学习应用的最常被引用的挑战与局限性是什么？这些挑战在不同数据模态下有何差异？
• RQ4 各子领域中的评估实践与性能基准有何不同？模型性能与泛化能力方面呈现出哪些趋势？
• RQ5 所综述文献中强调的关键未来研究方向与伦理关切是什么，特别是在可解释性、鲁棒性与实际部署方面？

主要发现

• 截至2020年第三季度，PubMed中关于“深度学习”的文献结果已超过11,000篇，其中约90%发表于过去三年，表明该领域呈现爆炸式增长。
• 本元综述识别出61篇高影响力综述论文，涵盖四大主要类别，其中医学信息学与计算机视觉领域在引文与参考文献数量上尤为突出，反映出其研究影响力。
• 卷积神经网络（CNNs）在计算机视觉中占主导地位，而Transformer架构在自然语言处理中占据主导地位，视觉Transformer在图像分析中正迅速获得关注。
• 各领域普遍面临的问题包括模型可解释性（即“黑箱”问题）、数据稀缺、领域偏移及对分布偏移的鲁棒性，尤其在医学应用中更为显著。
• 尽管在受控环境中表现优异，深度学习模型在真实场景中常因未预见的边缘案例而失效，如自动驾驶汽车事故与有偏见的图像分类问题。
• 该领域正展现出向多模态与混合模型发展的强烈趋势，特别是在医学影像中，影像、临床与基因组数据的融合正日益被探索，以提升诊断准确性。