[논문 리뷰] Layer-wise Pruning and Auto-tuning of Layer-wise Learning Rates in Fine-tuning of Deep Networks

Youngmin Ro, Jin Young Choi|arXiv (Cornell University)|2020. 02. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 18인용 수 5

한 줄 요약

이 논문은 깊이 신경망 미세조정을 위해 계층별로 프루닝하고 계층별 학습률을 자동 조정하는 방법을 제안하며, 단일 학습률과 계층적 특징 학습 원칙 간의 괴리 문제를 해결한다. 각 계층에 맞게 학습률을 조정하고 중요도가 낮은 계층을 프루닝함으로써, 이미지 검색 및 미세 분류 벤치마크에서 성능을 향상시키면서 모델 복잡도를 감소시킨다.

ABSTRACT

Existing fine-tuning methods use a single learning rate over all layers. In this paper, first, we discuss that trends of layer-wise weight variations by fine-tuning using a single learning rate do not match the well-known notion that lower-level layers extract general features and higher-level layers extract specific features. Based on our discussion, we propose an algorithm that improves fine-tuning performance and reduces network complexity through layer-wise pruning and auto-tuning of layer-wise learning rates. Through in-depth experiments on image retrieval (CUB-200-2011, Stanford online products, and Inshop) and fine-grained classification (Stanford cars, Aircraft) datasets, the effectiveness of the proposed algorithm is verified.

연구 동기 및 목표

• 기존의 미세조정 방법이 모든 계층에 동일한 학습률을 사용하는 데서 비롯되는 한계를 해결하기 위해, 이는 계층적 특징 학습 원칙과 배치된다.
• 각 계층의 동적 특성에 기반해 학습률을 계층별로 적응시키는 것을 통해 미세조정 성능을 향상시키기.
• 학습률 민감도에 따라 지도되는 구조적 계층별 프루닝을 통해 네트워크 복잡도를 감소시키기.
• 이러한 방법의 효과성을 다양한 이미지 검색 및 미세 분류 벤치마크 데이터셋에서 검증하기.

제안 방법

• 미세조정 중 각 계층에 대해 독립적으로 학습률을 조정할 수 있는 계층별 학습률 자동 조정 메커니즘을 도입한다.
• 학습 중 무게 변화 경향에 기반해 기여도가 낮은 계층을 제거하는 프루닝 전략을 적용한다.
• 단일 학습률을 사용한 미세조정에서 계층별 무게 변화를 분석하여 특징 계층 구조와 비일관된 행동을 보이는 계층을 식별한다.
• 관측된 변화 경향을 바탕으로 각 계층의 프루닝 결정과 학습률 적응을 유도한다.
• 여러 개의 합성곱 및 완전 연결 계층에 걸쳐 프루닝과 적응형 학습률 전략을 통합 적용한다.
• 이식형 학습 및 평가를 통해 여러 미세조정 벤치마크에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 모든 계층에 동일한 학습률을 사용할 경우, 미세조정 과정에서 계층적 특징 학습 과정에 어떤 영향을 미치는가?
• RQ2 전역 학습률 대비 계층별 학습률 적응이 미세조정 성능을 향상시킬 수 있는가?
• RQ3 계층별 프루닝이 정확도를 저하시키지 않으면서 얼마나 모델 효율성을 향상시킬 수 있는가?
• RQ4 계층별 무게 변화 경향과 딥 네트워크 내 특징 추상화 수준 간의 상관관계는 어떠한가?
• RQ5 제안된 방법이 이미지 검색 및 미세 분류와 같은 다양한 미세조정 작업에 일반화되는가?

주요 결과

• 단일 학습률 사용은 계층 간 일관되지 않은 무게 변화 경향을 유도하며, 일반에서 특정 특징 학습으로의 예상 계층적 구조와 배치된다.
• 계층별 학습률 자동 조정은 CUB-200-2011, Stanford Online Products, Inshop 데이터셋에서 미세조정 성능을 크게 향상시킨다.
• 효율적인 계층별 프루닝을 통해 모델 복잡도를 감소시키면서도 더 높은 정확도를 달성한다.
• 이 방법은 이미지 검색 및 미세 분류 작업 모두에서 일관된 성능 향상을 보였다.
• 무게 변화 경향에 기반한 계층별 프루닝은 여분이거나 민감도가 낮은 계층을 효과적으로 식별하고 제거한다.
• 모든 평가된 벤치마크에서 전역 학습률을 사용한 표준 미세조정보다 성능이 뛰어나다.