[論文レビュー] Deep Learning -- A first Meta-Survey of selected Reviews across Scientific Disciplines, their Commonalities, Challenges and Research Impact

Jan Egger, Antonio Pepe+4 more|arXiv (Cornell University)|Nov 16, 2020

COVID-19 diagnosis using AI参考文献 115被引用数 34

ひとこと要約

このメタサーベイは、コンピュータビジョン、自然言語処理、医療インフォーマティクス、および統合的分野を対象に、61篇のディープラーニングレビュー論文を統合的に分析し、分野の進化、一般的なアーキテクチャ、課題、研究インパクトをマップする。2020年Q3時点でPubMedに『deep learning』に関する11,000件を超える結果が登録されており、その90％が直近3年間のものであるなど、発表数の急増が明らかになった。また、分野ごとの主なトレンド、制限要因、今後の方向性を特定し、ディープラーニングの科学的・実用的影響を高水準で分類された概要として提示する。

ABSTRACT

Deep learning belongs to the field of artificial intelligence, where machines perform tasks that typically require some kind of human intelligence. Similar to the basic structure of a brain, a deep learning algorithm consists of an artificial neural network, which resembles the biological brain structure. Mimicking the learning process of humans with their senses, deep learning networks are fed with (sensory) data, like texts, images, videos or sounds. These networks outperform the state-of-the-art methods in different tasks and, because of this, the whole field saw an exponential growth during the last years. This growth resulted in way over 10,000 publications per year in the last years. For example, the search engine PubMed alone, which covers only a sub-set of all publications in the medical field, provides already over 11,000 results in Q3 2020 for the search term 'deep learning', and around 90% of these results are from the last three years. Consequently, a complete overview over the field of deep learning is already impossible to obtain and, in the near future, it will potentially become difficult to obtain an overview over a subfield. However, there are several review articles about deep learning, which are focused on specific scientific fields or applications, for example deep learning advances in computer vision or in specific tasks like object detection. With these surveys as a foundation, the aim of this contribution is to provide a first high-level, categorized meta-survey of selected reviews on deep learning across different scientific disciplines. The categories (computer vision, language processing, medical informatics and additional works) have been chosen according to the underlying data sources (image, language, medical, mixed). In addition, we review the common architectures, methods, pros, cons, evaluations, challenges and future directions for every sub-category.

研究の動機と目的

• 分野の急激な拡大と情報過多の状況を鑑み、科学的分野に跨るディープラーニングレビュー文献の高水準で分類されたメタサーベイを提供すること。
• 特定分野におけるインパクトを反映する引用数および参考文献数を用いて、選択されたディープラーニングレビューの研究インパクトを分析すること。
• コンピュータビジョン、NLP、医療インフォーマティクスなどの分野において、共通するディープラーニングアーキテクチャ、手法、長所・短所、評価手法、課題を特定すること。
• レビュー文献から統合された知見に基づき、解釈可能性、汎化性、倫理的リスクといった、解釈可能性、耐性、実世界への展開といった重要な課題と今後の研究方向性を明らかにすること。
• 急速に拡大するディープラーニング研究分野を効果的に把握できるように、研究者に統合的かつ構造的な参照ポイントを提供すること。

提案手法

• 『Deep Learning』および『Review』または『Survey』をキーワードに、IEEE Xplore、Scopus、DBLP、PubMed、Web of Science、Google Scholarの複数データベースを対象にサーチを実施。
• タイトルおよび要旨のスクリーニングにより、レビューでない論文を除外し、分析対象として61件のレビュー／サーベイ論文を抽出。
• データモodalに基づき、4つの主要分野に分類：コンピュータビジョン、自然言語処理、医療インフォーマティクス、および追加の統合的分野。
• 各レビューから、関連論文、引用数、一般的なアーキテクチャ、手法、長所・短所、評価指標、課題といった重要な情報を抽出・分析。
• 統合された知見を構造化された表および要約にまとめ、分野間での高水準な比較と研究インパクトの評価を可能にする。
• すでに高い引用数を獲得している、査読前の段階にある重要なプレプリントも一部含めた。

実験結果

リサーチクエスチョン

• RQ1 コンピュータビジョン、NLP、医療インフォーマティクスなどの主要な科学分野において、支配的であるとされるディープラーニングアーキテクチャおよび手法は何か？
• RQ2 引用数および参考文献数を用いた定量的分析を通じて、ディープラーニングレビューの研究インパクトはどのように測定され、それが分野の成長と影響をどのように示しているか？
• RQ3 異なる分野において頻出するディープラーニング応用の課題および制限要因は何か？また、データモダリティごとにそれらはどのように異なるか？
• RQ4 評価手法やパフォーマンスベンチマークは分野ごとにどのように異なるのか？また、モデルのパフォーマンスと汎化性に関する傾向は何か？
• RQ5 レビュー文献で強調されている主な今後の研究方向性および倫理的懸念は何か？特に解釈可能性、耐性、実世界への展開に関する点で。

主な発見

• 2020年Q3時点で、PubMedに『deep learning』に関する11,000件を超える結果が登録されており、その約90％が直近3年間のものであった。これは、分野の爆発的成長を示している。
• このメタサーベイでは、4つの主要カテゴリにまたがる61件の高インパクトレビュー論文を特定した。特に医療インフォーマティクスとコンピュータビジョン分野では、引用数および参考文献数の両方が高く、研究的インパクトが顕著に表れている。
• コンピュータビジョン分野では畳み込みニューラルネットワーク（CNNs）が、NLP分野ではトランスフォーマーが支配的アーキテクチャとなった。特に、ビジョントランスフォーマーは画像解析分野で注目を集めつつある。
• 分野を跨いで共通する課題には、モデルの解釈性（ブラックボックス問題）、データ不足、ドメインシフト、分布シフトへの耐性の欠如が含まれる。医療応用分野では特に顕著である。
• 制御された環境下では高いパフォーマンスを示すが、予期しないエッジケースに直面すると、実世界のシナリオで失敗することが多く、自動運転車の事故や偏りのある画像分類の事例がその例である。
• 分野全体として、特に医療画像分野において、マルチモーダルおよびハイブリッドモデルへの傾向が顕著である。画像、臨床、ゲノムデータの統合的分析が、診断精度の向上を目指してますます注目されている。