[논문 리뷰] Deep Learning -- A first Meta-Survey of selected Reviews across Scientific Disciplines, their Commonalities, Challenges and Research Impact

Jan Egger, Antonio Pepe외 4명|arXiv (Cornell University)|2020. 11. 16.

COVID-19 diagnosis using AI참고 문헌 115인용 수 34

한 줄 요약

이 메타서베이는 컴퓨터 비전, 자연어 처리, 의료 정보학 및 다중 분야 분야의 딥러닝 리뷰 논문 61편을 종합하여 분야의 발전 과정, 공통 아키텍처, 도전 과제 및 연구 영향을 맵핑한다. 이 연구는 출판물의 급격한 증가를 드러내며, 2020년 3분기 기준 '딥러닝'에 대한 PubMed 결과가 11,000건이 넘었고, 그 중 약 90%가 이전 3년 내에 발표된 것으로 나타났다. 또한 각 하위 분야에서의 주요 추세, 한계 및 향후 방향성을 규명하여 딥러닝의 과학적 및 실용적 영향에 대한 고수준의 분류된 개요를 제공한다.

ABSTRACT

Deep learning belongs to the field of artificial intelligence, where machines perform tasks that typically require some kind of human intelligence. Similar to the basic structure of a brain, a deep learning algorithm consists of an artificial neural network, which resembles the biological brain structure. Mimicking the learning process of humans with their senses, deep learning networks are fed with (sensory) data, like texts, images, videos or sounds. These networks outperform the state-of-the-art methods in different tasks and, because of this, the whole field saw an exponential growth during the last years. This growth resulted in way over 10,000 publications per year in the last years. For example, the search engine PubMed alone, which covers only a sub-set of all publications in the medical field, provides already over 11,000 results in Q3 2020 for the search term 'deep learning', and around 90% of these results are from the last three years. Consequently, a complete overview over the field of deep learning is already impossible to obtain and, in the near future, it will potentially become difficult to obtain an overview over a subfield. However, there are several review articles about deep learning, which are focused on specific scientific fields or applications, for example deep learning advances in computer vision or in specific tasks like object detection. With these surveys as a foundation, the aim of this contribution is to provide a first high-level, categorized meta-survey of selected reviews on deep learning across different scientific disciplines. The categories (computer vision, language processing, medical informatics and additional works) have been chosen according to the underlying data sources (image, language, medical, mixed). In addition, we review the common architectures, methods, pros, cons, evaluations, challenges and future directions for every sub-category.

연구 동기 및 목표

• 분야의 기하급수적 성장과 정보 과부하로 인해 과학 분야 전반의 딥러닝 리뷰 문헌에 대한 고수준의 분류된 메타서베이를 제공하기 위해.
• 특정 분야에서의 영향을 반영하는 인용 수 및 참고문헌 수를 통해 선택된 딥러닝 리뷰의 연구 영향을 정량화하기 위해.
• 컴퓨터 비전, 자연어 처리, 의료 정보학 등 하위 분야에서 공통적인 딥러닝 아키텍처, 방법, 장점, 단점, 평가 관행 및 도전 과제를 규명하기 위해.
• 심층 분석을 통해 도출된 결과를 바탕으로 의사결정 가능성, 일반화 능력, 윤리적 리스크 등 향후 연구 방향성과 핵심 과제를 제시하기 위해.
• 연구자들이 급격히 확장되고 있는 딥러닝 연구 환경을 탐색할 수 있도록 통합되고 체계화된 기초 자료를 제공하기 위해.

제안 방법

• IEEE Xplore, Scopus, DBLP, PubMed, Web of Science, Google Scholar 등의 다중 데이터베이스를 대상으로 '딥러닝'과 '리뷰' 또는 '서베이'를 키워드로 검색하였다.
• 논문 제목과 초록을 선별하여 리뷰가 아닌 논문을 제외하여 분석 대상으로 61편의 리뷰/서베이 논문을 선정하였다.
• 데이터 모odal 기반으로 주요 분야 4개로 분류: 컴퓨터 비전, 자연어 처리, 의료 정보학, 기타 다중분야 연구.
• 각 리뷰에서 핵심 정보를 추출하고 분석하였으며, 참고문헌, 인용 수, 공통 아키텍처, 방법, 장점, 단점, 평가 지표 및 도전 과제를 포함하였다.
• 통합된 결과를 구조화된 표와 요약으로 정리하여 하위 분야 간 고수준 비교 및 연구 영향 평가를 가능하게 하였다.
• 아직 동료 심사되지 않은 상태이지만 높은 인용 수를 기록한 일부 프리프린트를 포함하여 최신 영향력 있는 논문들을 수반하였다.

실험 결과

연구 질문

• RQ1 컴퓨터 비전, 자연어 처리, 의료 정보학 등 주요 과학 분야에서 지배적인 딥러닝 아키텍처와 방법은 무엇인가?
• RQ2 딥러닝 리뷰의 연구 영향은 인용 수 및 참고문헌 수를 통해 어떻게 정량화되었으며, 이는 분야의 성장과 영향력을 어떻게 드러내는가?
• RQ3 다양한 분야에서 딥러닝 응용의 가장 흔한 도전 과제와 한계는 무엇이며, 데이터 모달에 따라 어떻게 다를까?
• RQ4 하위 분야 간 평가 관행과 성능 벤치마크는 어떻게 다를지, 모델 성능과 일반화 능력에서 나타나는 추세는 무엇인가?
• RQ5 심층 분석된 문헌에서 강조된 주요 향후 연구 방향성과 윤리적 우려 사항은 무엇이며, 특히 해석 가능성, 내구성 및 실생활 적용에 대해 어떻게 제기되는가?

주요 결과

• 2020년 3분기 기준 '딥러닝'에 대한 PubMed 결과는 11,000건이 넘었으며, 그 중 약 90%가 이전 3년 내에 발표된 것으로 나타나 분야의 폭발적 성장을 시사한다.
• 메타서베이에서는 주요 카테고리 4개에 걸쳐 61편의 영향력 있는 리뷰 논문을 식별하였으며, 의료 정보학과 컴퓨터 비전 분야에서 특히 높은 인용 수 및 참고문헌 수를 기록하여 연구적 영향력을 반영하고 있다.
• 컴퓨터 비전 분야에서는 컨volutional Neural Networks (CNNs)가, 자연어 처리 분야에서는 Transformer가 각각 지배적인 아키텍처로 부각되었으며, 특히 비전 트랜스포머는 이미지 분석 분야에서 점차 주목받고 있다.
• 모든 분야에서 공통적으로 나타나는 과제로는 모델의 해석 가능성(‘블랙박스’ 문제), 데이터 부족, 도메인 이동, 분포 이동에 대한 내구성 등이 있으며, 특히 의료 응용 분야에서 두드러진다.
• 통제된 환경에서는 높은 성능를 보이지만, 예기치 못한 극단적인 케이스로 인해 실제 환경에서는 실패하는 경우가 많으며, 자율주행차 사고나 편향된 이미지 분류 사례에서 이를 확인할 수 있다.
• 의료 영상 분야에서는 다중모달 및 하이브리드 모델로의 강한 추세가 나타나며, 영상, 임상, 게놈 데이터의 융합이 진단 정확도 향상을 위해 점점 더 많이 탐색되고 있다.