[論文レビュー] Deep transfer learning for image classification: a survey

Jo Plested, Phiri, Musa+1 more|arXiv (Cornell University)|May 20, 2022

Domain Adaptation and Few-Shot Learning被引用数 37

ひとこと要約

本調査は画像分類の深層転移学習を定式化し、進展をレビューし、ソースとターゲットデータセットの関係の新しい分類体系を提示し、ギャップと今後の方向性について論じる。

ABSTRACT

Deep neural networks such as convolutional neural networks (CNNs) and transformers have achieved many successes in image classification in recent years. It has been consistently demonstrated that best practice for image classification is when large deep models can be trained on abundant labelled data. However there are many real world scenarios where the requirement for large amounts of training data to get the best performance cannot be met. In these scenarios transfer learning can help improve performance. To date there have been no surveys that comprehensively review deep transfer learning as it relates to image classification overall. However, several recent general surveys of deep transfer learning and ones that relate to particular specialised target image classification tasks have been published. We believe it is important for the future progress in the field that all current knowledge is collated and the overarching patterns analysed and discussed. In this survey we formally define deep transfer learning and the problem it attempts to solve in relation to image classification. We survey the current state of the field and identify where recent progress has been made. We show where the gaps in current knowledge are and make suggestions for how to progress the field to fill in these knowledge gaps. We present a new taxonomy of the applications of transfer learning for image classification. This taxonomy makes it easier to see overarching patterns of where transfer learning has been effective and, where it has failed to fulfill its potential. This also allows us to suggest where the problems lie and how it could be used more effectively. We show that under this new taxonomy, many of the applications where transfer learning has been shown to be ineffective or even hinder performance are to be expected when taking into account the source and target datasets and the techniques used.

研究の動機と目的

• 画像分類の文脈における深層転移学習を定義する。
• 最近の進展を概観し、知識のギャップとパターンを特定する。
• 転移学習におけるソース-ターゲットデータセット関係の分類体系を提案する。
• 研究者を支援するために一般的および細分類のタスクで広く用いられるソースおよびターゲットデータセットを要約する。
• 転移学習の成果を改善する将来の研究方向を提案する。

提案手法

• 画像分類のための深層転移学習と転移学習問題を形式的に定義する。
• この論文を分野内に位置づけるため、既存の総説と関連研究をレビューする。
• ソース-ターゲットデータセット関係と転移効果に基づく新しい分類体系を提案する。
• 一般的および細分類タスクで広く用いられるソースおよびターゲットデータセットを要約する。
• 正の転移と負の転移につながる要因を分析し、ハイパーパラメータの考慮事項について議論する。

実験結果

リサーチクエスチョン

• RQ1 画像分類の深層転移学習の核心定義と境界は何か？
• RQ2 転移学習がデータセット間で性能向上または低下を生むパターンは何か？
• RQ3 ソース-ターゲットデータセット関係は転移学習の有効性とハイパーパラメータ選択にどう影響するか？
• RQ4 どのデータセットがソースとターゲットとして最も多く用いられ、関係性からどのような洞察が得られるか？
• RQ5 現在のギャップを解消し転移学習成果を改善する将来の方向性は何か？

主な発見

• 大規模な深層モデルは十分で関連性の高いソースデータから恩恵を受けるが、小さく遠いターゲットに対しては過学習する可能性がある。
• ソースとターゲットが密接に関連している場合はファインチューニングとより多くのレイヤーの転移が有効だが、関連が薄い場合はレイヤーを少なくする方がよい。
• ソースとターゲットの領域が大きく異なる場合、またはターゲットデータが非常に小さい場合には負の転移が生じ得るため、ハイパーパラメータの慎重な選択が必要。
• 新しい分類体系はソース-ターゲットデータセット関係を分析することにより転移効果のパターンを明確化する。
• 本総説は知識のギャップを浮き彫りにし、画像分類の転移学習を改善する方向性を提案する。