[논문 리뷰] How to fine-tune deep neural networks in few-shot learning?

Peng Peng, Jiugen Wang|arXiv (Cornell University)|2020. 12. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 17인용 수 12

한 줄 요약

이 논문은 소수의 샘플에서 학습하는 설정에서 딥 네ural 네트워크의 최적의 피니터닝 전략을 조사하며, 합성곱 층과 배치 정규화 층의 피니터닝 효과를 비교한다. 광범위한 실험과 가중치 분석을 통해 배치 정규화 층의 피니터닝이 과적합 위험을 최소화하면서도 뛰어난 성능을 보임을 발견하였으며, 이는 소수의 샘플에 대한 적응에 매우 단순하면서도 효과적인 방법을 제공한다.

ABSTRACT

Deep learning has been widely used in data-intensive applications. However, training a deep neural network often requires a large data set. When there is not enough data available for training, the performance of deep learning models is even worse than that of shallow networks. It has been proved that few-shot learning can generalize to new tasks with few training samples. Fine-tuning of a deep model is simple and effective few-shot learning method. However, how to fine-tune deep learning models (fine-tune convolution layer or BN layer?) still lack deep investigation. Hence, we study how to fine-tune deep models through experimental comparison in this paper. Furthermore, the weight of the models is analyzed to verify the feasibility of the fine-tuning method.

연구 동기 및 목표

• 소수의 샘플에서 학습하는 설정에서 딥 네럴 네트워크의 최적의 피니터닝 전략을 조사한다.
• 낮은 데이터 환경에서 합성곱 층의 피니터닝과 배치 정규화 층의 피니터닝 간 성능을 비교한다.
• 모델 가중치 분석을 통해 다양한 피니터닝 접근 방식의 타당성과 강건성을 검증한다.
• 소수의 샘플에서 일반화를 위한 사전 학습된 모델을 언제이고 어떻게 피니터닝할지에 대한 경험적 지침을 제공한다.

제안 방법

• 저자는 사전 학습된 딥 네럴 네트워크를 사용하여 소수의 샘플에서 학습하는 벤치마크에서 통제된 실험을 수행한다.
• 두 가지 피니터닝 전략을 비교한다: 합성곱 층만 업데이트하거나, 배치 정규화 층만 업데이트한다.
• 최종 층의 가중치 분석을 통해 파라미터의 안정성과 특징 학습 능력을 평가한다.
• 일반화 및 강건성 평가를 위해 여러 소수의 샘플 분류 작업에서 실험을 수행한다.
• 표준 소수의 샘플 학습 프로토콜을 사용하며, 지원 세트와 질의 세트 평가를 포함한다.
• 다양한 피니터닝 구성 간 성능 비교를 위해 통계 분석을 적용한다.

실험 결과

연구 질문

• RQ1 소수의 샘플에서 학습할 때, 합성곱 층과 배치 정규화 층 중 어떤 층을 피니터닝할 경우 더 높은 성능을 낼 수 있는가?
• RQ2 배치 정규화 층을 피니터닝하면 합성곱 층을 피니터닝하는 것보다 더 나은 일반화 성능를 보일 수 있는가?
• RQ3 다른 층에서의 가중치 업데이트는 낮은 데이터 환경에서 모델의 안정성과 과적합에 어떤 영향을 미치는가?
• RQ4 가중치 분석을 통해 배치 정규화 피니터닝의 타당성과 효과성을 확인할 수 있는가?

주요 결과

• 배치 정규화 층의 피니터닝은 여러 소수의 샘플 벤치마크에서 합성곱 층의 피니터닝을 일관되게 능가한다.
• 특히 클래스당 5장 이하의 샘플이 있는 저샷 환경에서 배치 정규화 층의 피니터닝이 가져오는 성능 향상은 통계적으로 유의미하다.
• 가중치 분석 결과, 배치 정규화 층은 피니터닝 중 더 안정적이고 의미 있는 파라미터 업데이트를 보였다.
• 합성곡 층의 피니터닝은 특히 학습 데이터가 부족할 경우 과적합 위험이 더 높아진다.
• 이 연구는 배치 정규화 피니터닝이 소수의 샘플 적응에 있어 강건하고 효과적인 방법임을 확인하였다.