[論文レビュー] A Review of Deep Transfer Learning and Recent Advancements

Mohammadreza Iman, Khaled Rasheed+1 more|arXiv (Cornell University)|Jan 19, 2022

COVID-19 diagnosis using AI被引用数 31

ひとこと要約

The paper surveys deep transfer learning (DTL), outlining its definitions, taxonomy, popular methods, recent applications, and limitations, with discussions on trends and future directions.

ABSTRACT

Deep learning has been the answer to many machine learning problems during the past two decades. However, it comes with two major constraints: dependency on extensive labeled data and training costs. Transfer learning in deep learning, known as Deep Transfer Learning (DTL), attempts to reduce such dependency and costs by reusing an obtained knowledge from a source data/task in training on a target data/task. Most applied DTL techniques are network/model-based approaches. These methods reduce the dependency of deep learning models on extensive training data and drastically decrease training costs. As a result, researchers detected Covid-19 infection on chest X-Rays with high accuracy at the beginning of the pandemic with minimal data using DTL techniques. Also, the training cost reduction makes DTL viable on edge devices with limited resources. Like any new advancement, DTL methods have their own limitations, and a successful transfer depends on some adjustments for different scenarios. In this paper, we review the definition and taxonomy of deep transfer learning and well-known methods. Then we investigate the DTL approaches by reviewing recent applied DTL techniques in the past five years. Further, we review some experimental analyses of DTLs to learn the best practice for applying DTL in different scenarios. Moreover, the limitations of DTLs (catastrophic forgetting dilemma and overly biased pre-trained models) are discussed, along with possible solutions and research trends.

研究の動機と目的

• deep transfer learning (DTL) の概念とその動機を定義・整理する。
• ネットワーク/モデルベースのアプローチに焦点を当てた DTL 手法の分類を提供する。
• 過去5年間にわたるさまざまな領域における最近の応用 DTL 手法をレビューする。
• DTL の適用におけるベストプラクティスを特定するための実験分析を要約する。
• 崩壊的忘却（catastrophic forgetting）や biased pre-trained models などの制限点を議論し、潜在的な解決策と研究動向を示す。）

提案手法

• 既存文献から DTL の定義と分類を調査・統合する。
• ネットワーク/モデルベースのアプローチを重視して、よく知られた DTL 手法を分類する。
• 過去5年間の最近の応用 DTL 手法とその成果をレビューする。
• さまざまなシナリオにおけるベストプラクティスを抽出するために実験分析を要約する。
• DTL の制限点を議論し、潜在的な解決策と研究動向を提案する。

実験結果

リサーチクエスチョン

• RQ1 深層転移学習（DTL）の正式な定義と分類は何か？
• RQ2 主なネットワーク/モデルベースの DTL アプローチは何で、どのように異なるか？
• RQ3 特にデータが限られている場合、最近の DTL 手法は様々な応用でどれくらい効果的か？
• RQ4 DTL の主要な制限点（例：崩壊的忘却、事前学習モデルの偏り）と、それに対する解決策やトレンドは何か？

主な発見

• DTL は大規模なラベル付きデータセットへの依存を軽減し、学習コストを低減する。
• DTL により、最小限のデータで胸部X線画像の COVID-19 感染検出の高精度を実現できた。
• DTL はリソース制約のあるエッジデバイスへのデプロイを可能にする。
• 制限として崩壊的忘却や過度に偏った事前学習モデルが挙げられる。
• 本稿は可能な解決策を議論し、DTL の研究動向を特定する。