[논문 리뷰] Task Adaptive Parameter Sharing for Multi-Task Learning

Matthew Wallingford, Hao Li외 5명|arXiv (Cornell University)|2022. 03. 30.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 사전 훈련된 모델의 층 중에서 각 하류 작업에 대해 미세조정할 최소한의 층을 미분 가능하게 선택하는 Task Adaptive Parameter Sharing (TAPS)를 제안한다. 연속적 근사와 희박성 정규화를 통해 성능과 효율성의 균형을 맞춘다. TAPS는 ResNet, DenseNet, Vision Transformer 아키텍처 전반에서 메모리와 파라미터 오버헤드를 크게 줄이며, 다중 작업 학습에서 최신 기술 성능을 달성한다. AdaShare보다 작업별 전용 파라미터가 0.46배 더 많을 뿐이며, 전체 미세조정 성능를 그대로 유지한다.

ABSTRACT

Adapting pre-trained models with broad capabilities has become standard practice for learning a wide range of downstream tasks. The typical approach of fine-tuning different models for each task is performant, but incurs a substantial memory cost. To efficiently learn multiple downstream tasks we introduce Task Adaptive Parameter Sharing (TAPS), a general method for tuning a base model to a new task by adaptively modifying a small, task-specific subset of layers. This enables multi-task learning while minimizing resources used and competition between tasks. TAPS solves a joint optimization problem which determines which layers to share with the base model and the value of the task-specific weights. Further, a sparsity penalty on the number of active layers encourages weight sharing with the base model. Compared to other methods, TAPS retains high accuracy on downstream tasks while introducing few task-specific parameters. Moreover, TAPS is agnostic to the model architecture and requires only minor changes to the training scheme. We evaluate our method on a suite of fine-tuning tasks and architectures (ResNet, DenseNet, ViT) and show that it achieves state-of-the-art performance while being simple to implement.

연구 동기 및 목표

• 다중 작업 학습에서 각 하류 작업에 대해 별도의 모델을 훈련할 경우 발생하는 높은 메모리 및 파라미터 비용을 해결하기 위해.
• 증강 및 동시 다중 작업 학습 환경에서의 작업 간 간섭과 치명적인 잊힘 문제를 줄이기 위해.
• 아키텍처 수정 없이도 효과적인, 아키텍처에 특화된 파라미터 공유 패턴을 발견하기 위해.
• 표준 훈련 파이프라인에 최소한의 변경만으로 효율적이고 확장 가능한 다중 작업 학습을 가능하게 하기 위해.
• 전체 미세조정 성능에 준하여 작업별 전용 파라미터 수를 최소화하면서도 성능을 달성하기 위해.

제안 방법

• TAPS는 작업별 가중치 델타에 대한 게이팅을 사용하여 층 선택을 연속적이고 미분 가능한 최적화 문제로 공식화한다.
• 사전 훈련된 기본 모델과의 공유를 장려하기 위해 활성(미세조정된) 층의 수에 대한 희박성 페널티를 도입한다.
• 확률적 경사 하강법을 통해 작업별 가중치와 층 선택을 동시에 최적화함으로써 엔드 투 엔드 훈련을 가능하게 한다.
• TAPS는 모델 아키텍처를 수정하지 않으며, 대신 각 작업마다 기존 층의 소규모 적응형 하위집합을 재훈련한다.
• 이 방법은 모델 아키텍처에 관계없이 적용 가능하며, 표준 미세조정 방법에 대한 수정이 거의 필요로 한다.
• 이 방법은 직관적일 수도 있고 비직관적인 패턴을 자동으로 발견한다. 예를 들어, Vision Transformer에서는 피드포워드 층을 공유하면서도 오직 자기주의 층만 조정한다.

Figure 1 : Overview of our approach. Difference between (b) our approach, (a) feature extractor as well as (c) finetuning. Here we have two tasks $T_{1}$ and $T_{2}$ . $T_{1}$ shown by turquoise and $T_{2}$ by green. Yellow boxes denote the base network layer. Our approach adds task specific paramet

실험 결과

연구 질문

• RQ1 아키텍처 수정 없이도 수작업으로 설계된 규칙 없이 사전 훈련된 모델에서 어떤 층을 조정할지를 학습할 수 있는가?
• RQ2 층 선택의 미분 가능하고 연속적인 근사가 전체 미세조정 성능에 가까운 성능을 달성하면서도 작업별 전용 파라미터를 최소화할 수 있는가?
• RQ3 TAPS는 AdaShare와 같은 기존의 파라미터 공유 방법보다 동시 및 증강 다중 작업 학습 환경에서 성능이 뛰어나게 되는가?
• RQ4 TAPS는 Vision Transformer에서 주로 어텐션 층에 집중하는 등, 효과적인 아키텍처에 특화된 공유 패턴을 자동으로 발견할 수 있는가?
• RQ5 AdaShare와 같은 이중 단계 방법과 비교해 TAPS는 파라미터 효율성과 훈련 비용 측면에서 어떻게 성능을 내는가?

주요 결과

• TAPS는 ResNet-34를 사용해 DomainNet에서 최신 기술 성능을 달성하였으며, 증강 MTL 환경에서 AdaShare보다 평균 2.18% 높은 성능을 보였고, 파라미터 효율성은 18% 더 뛰어났다.
• 동시 MTL 환경에서 TAPS는 전체 미세조정 정확도(80.28% Top-1 정확도)를 그대로 유지하면서 AdaShare보다 작업별 전용 파라미터가 0.46배 뿐만 더 추가되었다.
• TAPS는 작업별로 특화되고 아키텍처를 고려한 조정 패턴을 자동으로 발견한다: ResNets의 경우 주로 마지막 층을 조정하고, Vision Transformers의 경우 오직 자기주의 층만 선택적으로 조정한다.
• TAPS는 동시 및 증강 훈련 전반에서 안정적인 성능을 유지한다. 반면 전체 미세조정은 동시 환경에서 작업 간 경쟁과 성능 저하 문제를 겪는다.
• AdaShare가 정책 학습과 다수의 아키텍처 샘플링을 포함하는 고비용 이중 단계 훈련 과정이 필요한 데 비해, TAPS는 훈련 오버헤드가 극히 적다.
• 더 큰 네트워크(ResNet-50)를 사용함에도 불구하고 AdaShare의 성능는 약간 저하되는 것으로 나타났다. 이는 용량이 제한 요소가 아니며, TAPS의 효율성과 강건성을 강조한다.

Figure 2 : Accuracy vs Task Specific Layers: Accuracy vs percentage of task specific layers for the Cars dataset is shown. Varying $\lambda$ gives a variety of configuration. With even a very few task specific layers (high $\lambda$ ), we perform significantly better than the feature extraction base