[논문 리뷰] K for the price of 1. Parameter efficient multi-task and transfer learning

Pramod Kaushik Mudrakarta, M. Sandler외 2명|arXiv (Cornell University)|2018. 09. 27.

Domain Adaptation and Few-Shot Learning인용 수 19

한 줄 요약

이 논문은 전체 네트워크를 미세조정하는 대신, 스케일과 바이어스와 같은 작은 파라미터 집합인 작업별 '모델 패치'를 학습하여 다중 작업 및 전이 학습을 위한 파라미터 효율적인 방법을 제안한다. 사전 훈련된 SSD 특징 추출기의 98%를 재사용하고, 소수의 파라미터 집합만을 조정함으로써, 전체 미세조정 수준의 성능를 달성하면서도 파라미터 업데이트를 크게 줄였다.

ABSTRACT

We introduce a novel method that enables parameter-efficient transfer and multi-task learning with deep neural networks. The basic approach is to learn a model patch - a small set of parameters - that will specialize to each task, instead of fine-tuning the last layer or the entire network. For instance, we show that learning a set of scales and biases is sufficient to convert a pretrained network to perform well on qualitatively different problems (e.g. converting a Single Shot MultiBox Detection (SSD) model into a 1000-class image classification model while reusing 98% of parameters of the SSD feature extractor). Similarly, we show that re-learning existing low-parameter layers (such as depth-wise convolutions) while keeping the rest of the network frozen also improves transfer-learning accuracy significantly. Our approach allows both simultaneous (multi-task) as well as sequential transfer learning. In several multi-task learning problems, despite using much fewer parameters than traditional logits-only fine-tuning, we match single-task performance.

연구 동기 및 목표

• 전체 미세조정의 비효율성을 해결하기 위해 훈련 가능한 파라미터 수를 줄이기 위해.
• 전체 네트워크를 다시 훈련하지 않고도 순차적 및 동시 전이 학습을 가능하게 하기 위해.
• 사전 훈련된 가중치의 대부분을 재사용하면서도 하류 작업에서 높은 성능를 유지하기 위해.
• 작은 가속 가능한 파라미터 패치가 단일 백본을 다양한 작업에 효과적으로 적응시킬 수 있는지 탐색하기 위해.

제안 방법

• 이 방법은 사전 훈련된 고정된 네트워크에 추가되는 작은 가속 가능한 파라미터 집합(예: 스케일과 바이어스)으로 이루어진 작업별 모델 패치를 도입한다.
• 이러한 패치들은 사전 훈련된 특징을 특정 작업에 적응시키기 위해 훈련되며, 파라미터 효율적인 적응을 가능하게 한다.
• 이 방법은 다중 작업 학습(여러 작업에 동시에 적응)과 순차적 전이 학습(한 번에 하나의 작업)을 모두 지원한다.
• 기존 네트워크의 나머지 부분을 고정한 채로 저파라미터 레이어(예: 딥와이즈 컨볼루션)를 재학습함으로써 전이 정확도를 향상시킬 수 있다.
• 모델 패치는 특징 추출기 이후에 적용되어 최종 분류 헤드 이전의 특징 표현을 수정한다.
• 이 방법은 원래 네트워크 아키텍처를 유지하며, 각 작업당 최소한의 추가 파라미터만 도입한다.

실험 결과

연구 질문

• RQ1 작은 가속 가능한 파라미터 집합이 고정된 사전 훈련된 네트워크를 다양한 하류 작업에 효과적으로 적응시키는 데에 충분한가?
• RQ2 제안된 방법의 성능가 전체 미세조정 및 로짓 전용 적응과 비교해 볼 때 다중 작업 학습에서 어떻게 되는가?
• RQ3 동일한 특징 추출기를 최소한의 파라미터 업데이트로 여러 작업에 얼마나 잘 재사용할 수 있는가?
• RQ4 기존 네트워크의 나머지를 고정한 채 저파라미터 레이어를 재학습하면 전이 학습 정확도가 향상되는가?
• RQ5 표준 미세조정보다 훨씬 적은 파라미터를 사용하면서도 단일 작업 성능 수준에 도달할 수 있는가?

주요 결과

• 제안된 방법은 사전 훈련된 SSD 특징 추출기의 98%를 재사용하면서도 전체 미세조정 수준의 성능를 달성한다.
• 표준 미세조정보다 훨씬 적은 훈련 가능한 파라미터를 사용하면서도 다중 작업 학습에서 단일 작업 성능를 유지한다.
• 기존 네트워크의 나머지를 고정한 채 저파라미터 레이어(예: 딥와이즈 컨볼루션)를 재학습함으로써 전이 학습 정확도가 향상된다.
• 모델 패치는 객체 검출 모델을 1000개 클래스의 이미지 분류기로 변환하는 등 질적으로 다른 작업 간에 효과적인 적응을 가능하게 한다.
• 최소한의 파라미터 업데이트로 동시 및 순차적 전이 학습을 모두 지원한다.
• 이 방법은 강력한 파라미터 효율성을 보이며, 자원 제약이 있는 환경에서의 구현에 적합하다.