[논문 리뷰] Deep transfer learning for image classification: a survey

Jo Plested, Phiri, Musa외 1명|arXiv (Cornell University)|2022. 05. 20.

Domain Adaptation and Few-Shot Learning인용 수 37

한 줄 요약

본 고찰은 이미지 분류를 위한 심층 전이 학습을 형식화하고, 진전을 검토하며, 원천-대상 데이터 세트 관계의 새로운 분류 체계를 제시하고, 격차와 향후 방향에 대해 논의한다.

ABSTRACT

Deep neural networks such as convolutional neural networks (CNNs) and transformers have achieved many successes in image classification in recent years. It has been consistently demonstrated that best practice for image classification is when large deep models can be trained on abundant labelled data. However there are many real world scenarios where the requirement for large amounts of training data to get the best performance cannot be met. In these scenarios transfer learning can help improve performance. To date there have been no surveys that comprehensively review deep transfer learning as it relates to image classification overall. However, several recent general surveys of deep transfer learning and ones that relate to particular specialised target image classification tasks have been published. We believe it is important for the future progress in the field that all current knowledge is collated and the overarching patterns analysed and discussed. In this survey we formally define deep transfer learning and the problem it attempts to solve in relation to image classification. We survey the current state of the field and identify where recent progress has been made. We show where the gaps in current knowledge are and make suggestions for how to progress the field to fill in these knowledge gaps. We present a new taxonomy of the applications of transfer learning for image classification. This taxonomy makes it easier to see overarching patterns of where transfer learning has been effective and, where it has failed to fulfill its potential. This also allows us to suggest where the problems lie and how it could be used more effectively. We show that under this new taxonomy, many of the applications where transfer learning has been shown to be ineffective or even hinder performance are to be expected when taking into account the source and target datasets and the techniques used.

연구 동기 및 목표

• 이미지 분류의 맥락에서 심층 전이 학습을 정의한다.
• 최근의 진전을 검토하고 지식 격차 및 패턴을 식별한다.
• 전이 학습에서 원천-대상 데이터 세트 관계에 대한 분류 체계를 소개한다.
• 연구원들을 돕기 위해 일반 및 세부 작업에서 일반적으로 사용되는 원천 및 대상 데이터 세트를 요약한다.
• 전이 학습 결과를 개선하기 위한 향후 연구 방향을 제언한다.

제안 방법

• 이미지 분류를 위한 심층 전이 학습 및 전이 학습 문제를 형식적으로 정의한다.
• 필드 내에서 이 논문의 위치를 확립하기 위해 기존의 조사와 관련 연구를 검토한다.
• 원천-대상 데이터 세트 관계 및 전이 효과성에 기반한 새로운 분류 체계를 제안한다.
• 일반 및 세부 작업 전반에서 일반적으로 사용되는 원천과 대상 데이터 세트를 요약한다.
• 양적 전이의 긍정적/부정적 요인 및 하이퍼파라미터 고려사항을 분석한다.

실험 결과

연구 질문

• RQ1 이미지 분류를 위한 심층 전이 학습의 핵심 정의와 경계는 무엇인가?
• RQ2 전이가 데이터 세트 간 성능에 도움이 되거나 방해가 되는 패턴은 무엇인가?
• RQ3 원천-대상 데이터 세트 관계가 전이 학습의 효과성과 하이퍼파라미터 선택에 어떤 영향을 미치는가?
• RQ4 가장 널리 사용되는 원천 및 대상 데이터 세트는 어떤 것이고, 그 관계에서 어떤 통찰이 나오는가?
• RQ5 현재의 격차를 해결하고 전이 학습 성과를 개선하기 위해 어떤 향후 방향이 필요하?

주요 결과

• 큰 규모의 심층 모델은 관련 원천 데이터로부터 이익을 얻지만, 작고 먼 대상에 대해서는 과적합될 수 있다.
• 원천과 대상이 밀접하게 관련될수록 더 많은 계층을 미세 조정하고 전이하는 것이 도움이 되며, 그렇지 않을 때는 더 적은 계층이 도움이 될 수 있다.
• 원천과 대상 도메인이 크게 다르거나 대상 데이터가 매우 작을 경우 부정적 전이가 발생할 수 있어 하이퍼파라미터를 신중히 선택해야 한다.
• 새로운 분류 체계가 원천-대상 데이터 세트 관계를 분석하여 전이 효과성의 패턴을 명확히 한다.
• 이 조사는 전이 학습을 이미지 분류에 대해 개선하기 위한 지식 격차를 강조하고 방향을 제시한다.