[논문 리뷰] Conditional Adapters: Parameter-efficient Transfer Learning with Fast Inference

Tao Lei, Junwen Bai외 10명|arXiv (Cornell University)|2023. 04. 11.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 조건부 어댑터(Conditional Adapters, CoDA)를 소개한다. CoDA는 소프트 top-k 라우팅 메커니즘을 통해 중요도가 높은 입력 토큰만 선택적으로 활성화함으로써 추론 속도를 가속화하는 파라미터 효율적인 전이 학습 방법이다. CoDA는 자연어 처리, 비전, 음성 작업 전반에서 표준 어댑터 대비 2배에서 8배 빠른 추론 속도를 달성하면서 정확도 저하가 최소 또는 없이, 재학습 없이도 대규모 사전학습된 모델의 효율적 구현을 가능하게 한다.

ABSTRACT

We propose Conditional Adapter (CoDA), a parameter-efficient transfer learning method that also improves inference efficiency. CoDA generalizes beyond standard adapter approaches to enable a new way of balancing speed and accuracy using conditional computation. Starting with an existing dense pretrained model, CoDA adds sparse activation together with a small number of new parameters and a light-weight training phase. Our experiments demonstrate that the CoDA approach provides an unexpectedly efficient way to transfer knowledge. Across a variety of language, vision, and speech tasks, CoDA achieves a 2x to 8x inference speed-up compared to the state-of-the-art Adapter approaches with moderate to no accuracy loss and the same parameter efficiency.

연구 동기 및 목표

• 표준 파라미터 효율적 방법(예: 어댑터)은 파라미터 업데이트가 감소함에도 불구하고 전체 추론 속도를 유지한다는 비효율성 문제를 해결하기 위해.
• 대규모 사전학습된 모델을 위한 전이 학습에서 파라미터 효율성과 추론 효율성을 동시에 확보하기 위해.
• 중요도가 높은 입력 토큰만을 동적으로 선택하여 고비용 계산을 수행하는 라우팅 메커니즘을 개발하기 위해.
• 소프트 top-k 라우팅을 통한 조건부 계산이 정확도를 유지하면서도 추론 속도를 크게 향상시킬 수 있음을 입증하기 위해.
• 이미 존재하는 밀도형 모델을 최소 또는 전혀 라우터 사전학습 없이 CoDA 모델로 효율적으로 변환할 수 있음을 보여주기 위해.

제안 방법

• CoDA는 표준 어댑터를 확장하여, 입력 토큰의 희소 부분집합을 선택해 전체 트랜스포머 계산을 수행하도록 가속화할 수 있는 학습 가능한 라우터를 도입한다.
• 라우터는 엔트로피 정규화 최적화를 사용하여, 토큰 선택 결정을 미분 가능하고 빠르게 반복 계산할 수 있도록 한다.
• 선택된 토큰들만 전체 사전학습된 트랜스포머 블록을 거치며, 나머지 토큰들은 경량 어댑터 레이어를 통과하여 계산량을 줄인다.
• 이 방법은 사전학습된 모델 가중치를 유지하고, 새로운 파라미터 수를 최소로 조정함으로써 파라미터 효율성을 확보한다.
• 소프트 top-k 연산은 하드 top-k를 일반화하며, 최적의 작업 성능을 위해 라우팅 정책의 엔드 투 엔드 학습을 가능하게 한다.
• CoDA는 LoRA와 같은 다른 파라미터 효율적 방법과 조합하여 추론 속도를 더욱 향상시킬 수 있다.

실험 결과

연구 질문

• RQ1 조건부 계산을 사용하여 전이 학습에서 파라미터 효율성과 추론 효율성을 동시에 달성할 수 있는가?
• RQ2 소프트 top-k 라우팅 메커니즘이 정확도를 훼손하지 않고 의미 있는 입력 토큰을 선택해 희소 계산을 수행하는 데 얼마나 효과적인가?
• RQ3 기존의 밀도형 사전학습된 모델을 최소 또는 전혀 추가 학습 없이 CoDA 모델로 변환할 수 있는 정도는 어느 정도인가?
• RQ4 다양한 모odalities에서 표준 어댑터와 비교해 CoDA는 속도-정확도 트레이드오프 측면에서 어떻게 성능을 내는가?
• RQ5 문서 기반 또는 이미지 기반 질의 응답과 같은 높은 입력 희소성 문제를 가진 작업에서 CoDA는 성능을 유지할 수 있는가?

주요 결과

• OCR-VQA에서 CoDA는 표준 어댑터 대비 최대 8배 빠른 추론 속도를 달성했으며, 정확도 정확도(Equivalent Match)는 0.1% 감소에 그쳤다.
• Librispeech에서 CoDA는 1.4~2.8%의 단어 오류율을 유지하면서, 다양한 모델 크기에서 2.2배에서 19.4배 빠른 속도를 기록했으며, 완전히 미세조정된 기준 모델과 동일한 성능을 보였다.
• 비전 작업에서는 라우팅된 토큰 수를 시퀀스 길이의 1/16로 줄였을 때, CoDA가 OCR-VQA에서 정확도(Equivalent Match)가 1점 감소하는 데서 13.5배 빠른 속도를 달성했다.
• 시각화 결과, 라우터가 정보가 풍부한 이미지 패치를 선택하고, 정보가 적은 영역(예: 흰색 배경)은 회피하는 것을 확인했다.
• CoDA는 w2v-BERT, BEST-RQ와 같은 완전히 미세조정된 모델과 유사한 성능을 달성하면서도, 훨씬 더 빠르고 파라미터 효율적인 성능를 보였다.
• 라우터 사전학습이 거의 필요 없어, 존재하는 밀도형 모델을 효율적으로 CoDA 모델로 신속하게 변환할 수 있었다.