[논문 리뷰] A Review of Deep Transfer Learning and Recent Advancements

Mohammadreza Iman, Khaled Rasheed외 1명|arXiv (Cornell University)|2022. 01. 19.

COVID-19 diagnosis using AI인용 수 31

한 줄 요약

본 논문은 deep transfer learning(DTL)을 조사하여 정의, 분류체계, 일반적인 방법, 최근 응용 및 한계점을 개관하고, 추세와 향후 방향에 대한 논의를 제시한다.

ABSTRACT

Deep learning has been the answer to many machine learning problems during the past two decades. However, it comes with two major constraints: dependency on extensive labeled data and training costs. Transfer learning in deep learning, known as Deep Transfer Learning (DTL), attempts to reduce such dependency and costs by reusing an obtained knowledge from a source data/task in training on a target data/task. Most applied DTL techniques are network/model-based approaches. These methods reduce the dependency of deep learning models on extensive training data and drastically decrease training costs. As a result, researchers detected Covid-19 infection on chest X-Rays with high accuracy at the beginning of the pandemic with minimal data using DTL techniques. Also, the training cost reduction makes DTL viable on edge devices with limited resources. Like any new advancement, DTL methods have their own limitations, and a successful transfer depends on some adjustments for different scenarios. In this paper, we review the definition and taxonomy of deep transfer learning and well-known methods. Then we investigate the DTL approaches by reviewing recent applied DTL techniques in the past five years. Further, we review some experimental analyses of DTLs to learn the best practice for applying DTL in different scenarios. Moreover, the limitations of DTLs (catastrophic forgetting dilemma and overly biased pre-trained models) are discussed, along with possible solutions and research trends.

연구 동기 및 목표

• DTL의 개념과 동기를 정의하고 체계화한다.
• 네트워크/모델 기반 접근법에 초점을 맞춘 DTL 방법의 분류 체계를 제시한다.
• 지난 5년간 다양한 도메인에서의 적용된 DTL 기법을 검토한다.
• 실험 분석을 분석하여 DTL 적용의 모범 사례를 도출한다.
• 한계점(예: catastrophic forgetting, 편향된 사전학습 모델)과 잠재적 해결책 및 연구 동향에 대해 논의한다.

제안 방법

• 기존 문헌에서 DTL의 정의와 분류 체계를 조사하고 합성한다.
• 네트워크/모델 기반 접근법을 중심으로 잘 알려진 DTL 방법을 분류한다.
• 지난 5년간의 최근 적용 DTL 기법과 그 결과를 검토한다.
• 다양한 상황에 대한 모범 사례를 도출하기 위해 실험 분석을 요약한다.
• 한계점을 논의하고 DTL의 잠재적 해결책 및 연구 트렌드를 제안한다.

실험 결과

연구 질문

• RQ1 DTL의 형식적 정의와 분류 체계는 무엇인가?
• RQ2 주요한 네트워크/모델 기반 DTL 접근법은 무엇이며 어떤 차이가 있는가?
• RQ3 제한된 데이터 환경에서 특히 다양한 응용 분야에서 최근 DTL 기법의 효과는 어느 정도인가?
• RQ4 DTL의 주요 한계(예: catastrophic forgetting, 편향된 사전 학습 모델)와 존재하는 해결책/트렌드는 무엇인가?

주요 결과

• DTL은 대규모 라벨링 데이터에 대한 의존도를 줄이고 학습 비용을 낮춘다.
• DTL은 최소한의 데이터로 흉부 X선에서 COVID-19 감염 탐지의 높은 정확도를 가능하게 했다.
• DTL은 리소스 제약이 있는 엣지 디바이스에서의 배치를 가능하게 한다.
• 한계로는 catastrophic forgetting과 지나치게 편향된 사전 학습 모델이 포함된다.
• 본 논문은 가능한 해결책을 논의하고 DTL의 연구 동향을 식별한다.