[논문 리뷰] The Utility of Feature Reuse: Transfer Learning in Data-Starved Regimes

Shadman, Rashik, M. G. Sarwar Murshed외 3명|arXiv (Cornell University)|2020. 02. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 14인용 수 5

한 줄 요약

이 논문은 클래스당 100개 미만의 레이블된 샘플만 있는 데이터가 부족한 환경에서 과다 파rameter화된 합성곱 신경망을 사용한 전이학습을 조사한다. 이미지넷 사전학습 모델의 특징 재사용이 분류 정확도와 분포 외 데이터에 대한 일반화 능력을 크게 향상시키며, 시각적 설명을 통해 전이학습 후 관련 특징에 대한 주의 집중이 향상됨을 확인한다.

ABSTRACT

The use of transfer learning with deep neural networks has increasingly become widespread for deploying well-tested computer vision systems to newer domains, especially those with limited datasets. We describe a transfer learning use case for a domain with a data-starved regime, having fewer than 100 labeled target samples. We evaluate the effectiveness of convolutional feature extraction and fine-tuning of overparameterized models with respect to the size of target training data, as well as their generalization performance on data with covariate shift, or out-of-distribution (OOD) data. Our experiments demonstrate that both overparameterization and feature reuse contribute to the successful application of transfer learning in training image classifiers in data-starved regimes. We provide visual explanations to support our findings and conclude that transfer learning enhances the performance of CNN architectures in data-starved regimes.

연구 동기 및 목표

• 클래스당 100개 이하의 레이블된 샘플만 있는 극도로 데이터가 부족한 설정에서 전이학습의 효과를 조사한다.
• 저데이터 환경에서 이미지 분류를 위한 성공적인 전이학습을 가능하게 하는 과다 파arameter화와 특징 재사용의 역할을 평가한다.
• 분포 이탈 및 분포 외(OOD) 조건에서의 모델 일반화 성능을 평가한다.
• 예측을 정당화하고 전이학습의 이점을 검증하기 위해 Grad-CAM을 사용한 시각적 설명을 제공한다.
• 다양한 사전학습된 아키텍처를 대상으로 피넷팅과 특징 추출 전략을 비교하여 성능 결정 요인을 규명한다.

제안 방법

• 클래스당 <100개의 샘플을 가진 새로운 이미지 분류 작업에 대해, 여러 이미지넷 사전학습 CNN 아키텍처(Inception v3, DenseNet161, ResNet152, VGG11, SqueezeNet v1 등)를 피넷팅하였다.
• 모델을 전체 피넷팅 및 특징 추출(최종 분류 레이어만 훈련) 방식으로 훈련하여 성능과 일반화 능력을 비교하였다.
• 분포 내 및 분포 외(OOD) 테스트 세트에서 모델을 평가하여 분포 이탈 하에서의 강건성을 평가하였다.
• VGG11의 11번째 레이어에서 유도된 주의 맵을 비교하기 위해 Gradient-weighted Class Activation Mapping(Grad-CAM)을 적용하였다.
• 제어된 조건에서 모델을 훈련 및 평가하기 위해 PyTorch와 NVIDIA RTX 2080 GPU를 사용하였다.
• 파rameter 수가 다른 아키텍처들(예: SqueezeNet 대비 VGG11) 간 성능을 비교하여 모델 크기의 전이 성능에 미치는 영향을 규명하였다.

실험 결과

연구 질문

• RQ1 클래스당 100개 이하의 레이블된 샘플만 있는 데이터가 부족한 환경에서 전이학습이 분류 정확도를 얼마나 향상시키는가?
• RQ2 전이학습을 사용할 때 저데이터 설정에서 과다 파arameter화가 모델 성능과 일반화에 어떤 영향을 미치는가?
• RQ3 효과적인 전이학습을 가능하게 하는 데 특징 재사용과 모델 용량 중 어느 것이 더 기여하는가?
• RQ4 시각적 설명을 통해 드러나는 바와 같이, 전이학습은 모델의 주의 집중과 특징 국소화에 어떤 영향을 미치는가?
• RQ5 분포 이탈에 대한 강건성 측면에서 피넷팅과 특징 추출 전략 간 성능 비교는 어떻게 이루어지는가?

주요 결과

• 모든 테스트된 아키텍처에서 전이학습으로 인해 정확도가 유의미하게 향상되었다: ResNet152는 전이학습 시 검증 정확도 100%를 기록했고, 전이학습 없이선 80% 이하였다.
• DenseNet161는 전이학습 시 100%의 검증 정확도를 기록했고, 전이학습 없이선 90% 이하로 떨어져 전이학습에 강한 의존성을 보였다.
• SqueezeNet v1은 전이학습 없이 44%의 정확도를 기록했고, 전이학습 시 90%로 상승하여 소규모 데이터 환경에서 특징 재사용의 결정적 역할을 확인했다.
• OOD 데이터에서 전이학습을 적용한 모델은 80% 이상의 정확도를 유지했다(예: DenseNet161는 83%); 반면 전이학습 없이선 60% 이하로 떨어져 강건성이 향상됨을 입증했다.
• Grad-CAM을 사용한 시각적 설명은 피넷팅된 모델이 관련 TEL 영역(히트맵에서 빨간색/노란색/초록색 영역)에 주의를 집중하는 반면, 사전학습된 모델은 부적절한 영역을 잘못 강조함을 확인했다.
• 전이학습의 성능 향상은 모델 크기와 유의미하게 관련되지 않았다: VGG11는 SqueezeNet보다 약 100배 많은 파라미터를 가졌지만 OOD 정확도에서 SqueezeNet을 앞서지 못했다. 이는 성능 향상의 주요 요인이 크기보다는 특징 재사용임을 시사한다.