[논문 리뷰] Fast and Robust Early-Exiting Framework for Autoregressive Language Models with Synchronized Parallel Decoding

Sangmin Bae, Jongwoo Ko외 2명|arXiv (Cornell University)|2023. 10. 09.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 자동회귀 언어 모델의 추론을 성능 저하 없이 가속화하기 위해 얕고 깊은 모듈과 동기화된 병렬 디코딩을 사용하는 빠르고 강력한 초기 종료(Fast and Robust Early-Exiting, FREE) 프레임워크를 제안한다. 상태 복사 대신 동기화된 디코딩을 적용하고, 적응형 신뢰도 임계값 추정을 위한 베타 혼합 모델을 활용함으로써 FREE는 전체 모델 대비 최대 1.65배 빠른 속도 향상을 달성하면서 다양한 작업과 모델 크기에서 생성 품질을 유지한다.

ABSTRACT

To tackle the high inference latency exhibited by autoregressive language models, previous studies have proposed an early-exiting framework that allocates adaptive computation paths for each token based on the complexity of generating the subsequent token. However, we observed several shortcomings, including performance degradation caused by a state copying mechanism or numerous exit paths, and sensitivity to exit confidence thresholds. Consequently, we propose a Fast and Robust Early-Exiting (FREE) framework, which incorporates a shallow-deep module and a synchronized parallel decoding. Our framework enables faster inference by synchronizing the decoding process of the current token with previously stacked early-exited tokens. Furthermore, as parallel decoding allows us to observe predictions from both shallow and deep models, we present a novel adaptive threshold estimator that exploits a Beta mixture model to determine suitable confidence thresholds. We empirically demonstrated the superiority of our proposed framework on extensive generation tasks.

연구 동기 및 목표

• 순차적인 자동회귀 디코딩으로 인한 높은 추론 지연 문제를 해결하기 위해.
• 기존의 초기 종료 프레임워크에서 발생하는 상태 복사와 과도한 종료 경로로 인한 성능 저하 문제를 극복하기 위해.
• 수동적인 신뢰도 임계값 조정이 필요 없도록 적응형 임계값 추정기 도입을 통해 이를 제거하기 위해.
• 다양한 모델과 시퀀스 길이에 걸쳐 더 빠르고 강력하며 확장 가능한 추론을 가능하게 하기 위해.
• 계산 비용을 크게 줄이면서도 높은 생성 품질을 유지하기 위해.

제안 방법

• 얕은 모델(초기 레이어)과 깊은 모델(전체 레이어)으로 계산을 분할하는 얕고 깊은 모듈을 도입하여 두 개의 지정된 지점에서 초기 종료를 가능하게 한다.
• 기존에 사용되던 근사된 키/밸류 상태에 의존하지 않고, 현재 토큰의 디코딩과 이전에 종료된 토큰의 디코딩을 동기화하여 정렬함으로써 동기화된 병렬 디코딩을 구현한다.
• 실제 어텐션 계산을 사용해 스택된 초기 종료 토큰에 대해 상태 복사를 대체함으로써 성능 저하를 감소시키고 정확도를 향상시킨다.
• 얕은 모델과 깊은 모델 간의 신뢰도 점수와 예측 일치도를 활용하여 최적의 임계값을 결정하는 베타 혼합 모델(Beta Mixture Model, BMM) 기반의 적응형 임계값 추정기를 제안한다.
• 병렬 디코딩을 통해 얕은 모델과 깊은 모델의 예측을 동시에 생성함으로써 추가적인 추론 비용 없이도 신뢰도 임계값 추정을 신뢰성 있게 수행할 수 있도록 한다.
• 학습 오버헤드를 줄이면서도 성능를 유지하기 위해 얕은 모델을 파rameter-efficient 방법으로 미세조정한다.

(a) Conventional Early-Exiting

실험 결과

연구 질문

• RQ1 동기화된 병렬 디코딩을 갖춘 이중 경로 초기 종료 프레임워크가 성능 저하 없이 추론 지연을 줄일 수 있는가?
• RQ2 긴 시퀀스와 큰 모델에서 동기화된 디코딩이 상태 복사 대비 정확도와 속도 측면에서 어떻게 비교되는가?
• RQ3 신뢰도 점수 분포를 기반으로 한 데이터 기반의 적응형 임계값 추정기가 수동적인 임계값 조정이 필요 없도록 할 수 있는가?
• RQ4 FREE 프레임워크가 다양한 NLP 작업과 모델 크기에서 생성 품질을 얼마나 잘 유지하는가?
• RQ5 사람이 평가하는 기준(인간 중심 평가 지표)에서 전체 모델 대비 프레임워크의 성능은 어떠한가?

주요 결과

• CNN/DailyMail 요약 작업에서 FREE 프레임워크는 전체 모델 대비 최대 1.65배 빠른 속도 향상을 달성했으며, ROUGE-L 점수는 전체 모델의 41.09와 비교해 40.99를 기록하여 품질을 유지했다.
• GPT-3.5-turbo를 활용한 인간 중심 평가에서 성능 저하가 유의미하게 발생하지 않았다: 네 가지 차원에서 FREE의 점수는 [4.68, 3.84, 3.84, 3.72]였고, 전체 모델은 [4.73, 3.83, 3.87, 3.77]였다.
• 쌍대 비교에서 승리 횟수가 거의 동일했으며(101 대 99), 이는 FREE와 전체 모델 간 인간 선호도가 유사하다는 것을 시사한다.
• 베타 혼합 모델 기반의 적응형 임계값 추정기는 각 데이터셋에 최적의 임계값을 효과적으로 결정하여 수동 조정이 필요 없음을 입증했다.
• 특히 더 큰 모델과 더 긴 시퀀스에서 동기화된 병렬 디코딩이 상태 복사보다 정확도에서 뛰어나 성능 저하를 줄였다.
• 깊은 모델 보정에 의존하는 개선 방법은 지연 증가의 비용을 감수하면서도 성능 향상이 미미하여, 초기 종료 프레임워크에 통합하기에는 부적합하다는 점을 시사한다.

(b) Fast and Robust Early-Exiting (FREE)