[논문 리뷰] SpotTune: Transfer Learning through Adaptive Fine-tuning

Yunhui Guo, Humphrey Shi외 4명|arXiv (Cornell University)|2018. 11. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 42

한 줄 요약

SpotTune은 사전학습된 네트워크에 대한 인스턴스별 파인튜닝 정책을 학습하여 입력마다 고정된 레이어(frozen) 또는 파인튜닝된 레이어를 통해 라우팅하고, 다양한 데이터셋에서 전이 학습 성능을 향상시킨다.

ABSTRACT

Transfer learning, which allows a source task to affect the inductive bias of the target task, is widely used in computer vision. The typical way of conducting transfer learning with deep neural networks is to fine-tune a model pre-trained on the source task using data from the target task. In this paper, we propose an adaptive fine-tuning approach, called SpotTune, which finds the optimal fine-tuning strategy per instance for the target data. In SpotTune, given an image from the target task, a policy network is used to make routing decisions on whether to pass the image through the fine-tuned layers or the pre-trained layers. We conduct extensive experiments to demonstrate the effectiveness of the proposed approach. Our method outperforms the traditional fine-tuning approach on 12 out of 14 standard datasets.We also compare SpotTune with other state-of-the-art fine-tuning strategies, showing superior performance. On the Visual Decathlon datasets, our method achieves the highest score across the board without bells and whistles.

연구 동기 및 목표

• 사전학습 네트워크로부터의 전이 학습과 인스턴스별 적응 결정의 결합을 통해 표준 파인튜닝보다 개선을 촉진한다.
• 각 입력에 대해 어떤 잔차 블록을 파인튜닝하고 어떤 것을 freeze할지 결정하는 경량 정책 네트워크를 제안한다.
• 이산적인 라우팅 결정의 미분 가능 학습을 가능하게 하는 Gumbel-Softmax를 이용한 학습 메커니즘을 도입한다.
• 매개변수를 줄이기 위해 고정된 블록 집합으로 파인튜닝을 제한하는 글로벌-정책 변형을 탐구한다.

제안 방법

• 각 잔차 블록을 frozen pretrained 버전과 pretrained 블록에서 초기화된 학습 가능한 재생성 블록으로 표현한다.
• 정책 네트워크를 통해 각 블록에 대해 per-instance 이진 결정 I_l(x) (freeze 또는 fine-tune)을 학습한다.
• 이산 결정에 대한 역전파를 가능하게 하기 위해 Gumbel-Softmax 분포에서 I_l(x)를 샘플링한다.
• 대상 작업과 함께 정책 네트워크를 공동으로 학습하고, Gumbel-Softmax에 대해 straight-through 추정치를 사용한다.
• 선택적으로 모든 입력이 동일한 k개의 파인튜닝된 블록을 사용하도록 제약하는 간결한 글로벌 정책을 부과하고 이진화를 촉진하는 보조 손실을 추가한다.
• 미사용 pretrained 블록을 버려 매개변수를 줄이는 글로벌-k 변형을 제공한다.

실험 결과

연구 질문

• RQ1 인스턴스별로 입력을 pretrained 블록과 fine-tuned 블록으로 라우팅하는 것이 균일한 파인튜닝 전략보다 전이 학습 성능을 향상시키는가?
• RQ2 블록의 하위집합을 고정하는 글로벌 정책이 더 적은 매개변수로 경쟁력 있는 정확도를 달성하는가?
• RQ3 SpotTune은 다양한 데이터셋과 Visual Decathlon 벤치마크에서 최첨단 파인튜닝 방법과 어떻게 비교되는가?
• RQ4 작업 간 블록 사용을 시각화할 때 학습된 파인튜닝 정책에 어떤 통찰이 나타나는가?

주요 결과

• SpotTune은 14개 데이터셋 중 12개에서 표준 파인튜닝보다 성능이 우수하다.
• 해당 방법은 아키텍처를 수정하지 않고도 비교 대상 방법들 중에서 Visual Decathlon 점수가 가장 높다.
• 인스턴스별 정책은 데이터셋 특성에 따라 예시별 라우팅 결정을 만들어내어 더 나은 특징 재활용과 적응을 가능하게 한다.
• 일부 파라미터를 줄인 간결한 글로벌-k 변형은 파라미터를 감소시키면서도 강한 성능을 유지하여 일부 마지막-k 파인튜닝 베이스라인보다 우수하다.
• L2-SP는 파인튜닝 성능을 향상시키지만 SpotTune보다 뒤처지며 보완적이다.
• 시각화는 데이터셋 전반에 걸쳐 다양한 파인튜닝 정책을 보여주며 비연속적이고 입력 의존적인 파인튜닝이 유익하다는 것을 시사한다.