[논문 리뷰] Length-Adaptive Transformer: Train Once with Length Drop, Use Anytime with Search

Gyuwan Kim, Kyunghyun Cho|arXiv (Cornell University)|2020. 10. 14.

Topic Modeling참고 문헌 63인용 수 9

한 줄 요약

이 논문은 다양한 계산 자원에서 효율적이고 anytime 추론을 가능하게 하는 단일 모델 프레임워크인 Length-Adaptive Transformer을 제안한다. 각 레이어에서 일정 비율의 시퀀스 길이를 확률적으로 줄이는 구조적 드롭아웃인 LengthDrop을 사용해 훈련하고, 다중 목적 유전적 탐색을 통해 재훈련 없이 최적의 길이 설정을 도출한다. 이 방법은 Drop-and-Restore 과정을 통해 PoWER-BERT를 토큰 수준의 작업으로 확장하여, SQuAD 1.1, MNLI-m, SST-2에서 최대 3배의 속도 향상으로 뛰어난 정확도-효율성 트레이드오프를 달성한다.

ABSTRACT

Despite transformers' impressive accuracy, their computational cost is often prohibitive to use with limited computational resources. Most previous approaches to improve inference efficiency require a separate model for each possible computational budget. In this paper, we extend PoWER-BERT (Goyal et al., 2020) and propose Length-Adaptive Transformer that can be used for various inference scenarios after one-shot training. We train a transformer with LengthDrop, a structural variant of dropout, which stochastically determines a sequence length at each layer. We then conduct a multi-objective evolutionary search to find a length configuration that maximizes the accuracy and minimizes the efficiency metric under any given computational budget. Additionally, we significantly extend the applicability of PoWER-BERT beyond sequence-level classification into token-level classification with Drop-and-Restore process that drops word-vectors temporarily in intermediate layers and restores at the last layer if necessary. We empirically verify the utility of the proposed approach by demonstrating the superior accuracy-efficiency trade-off under various setups, including span-based question answering and text classification. Code is available at https://github.com/clovaai/length-adaptive-transformer.

연구 동기 및 목표

• 대규모 사전 훈련된 트랜스포머의 높은 추론 비용 문제를 해결하기 위해, 특히 제한된 계산 자원 환경에서의 비용을 줄이는 것.
• 각 계산 자원에 맞는 별도의 모델을 훈련할 필요 없이, 단일 모델이 다양한 배포 시나리오를 지원할 수 있도록 하는 것.
• PoWER-BERT의 적용 범위를 시퀀스 수준 분류를 넘어서 토큰 수준 작업, 예를 들어 스팸 기반 질의 응답과 같은 작업으로 확장하는 것.
• 자동 설정 탐색을 통해 추론 중 정확도-효율성 트레이드오프를 미세 조절할 수 있도록 하는 것.
• 다양한 NLP 작업에서 FLOPs와 월클럭 추론 시간을 크게 줄이면서도 모델 성능을 유지하는 것.

제안 방법

• 각 트랜스포머 레이어에서 무작위 길이 비율에 따라 시퀀스 토큰을 확률적으로 제거하는 구조적 드롭아웃인 LengthDrop을 도입하여, 추론 시 다양한 시퀀스 길이에 대한 강건성을 확보한다.
• LengthDrop을 사용해 단일 트랜스포머 모델을 한 번만 훈련함으로써, 재훈련 없이도 다양한 유효 시퀀스 길이를 가진 다수의 하위 모델을 추출할 수 있다.
• 다중 목적 유전적 탐색을 적용하여, 주어진 계산 자원 예산 하에서 정확도를 최대화하고 FLOPs 및 추론 시간을 최소화하는 길이 설정을 식별한다.
• 중간 레이어에서 단어 벡터를 일시적으로 보류시키되, 최종 레이어에서 복원하는 Drop-and-Restore 과정을 설계하여, 토큰 수준 작업과의 호환성을 확보한다.
• 유전적 탐색을 통해 정확도와 효율성의 전체 파레토 경계를 생성함으로써, 임의의 목표 자원 예산에 맞는 배포가 가능해진다.
• 기존 HuggingFace Transformers 기반 모델들과의 통합을 통해 광범위한 호환성과 배포 용이성을 확보한다.

실험 결과

연구 질문

• RQ1 단일 트랜스포머 모델을 한 번만 훈련하고, 재훈련이나 미세조정 없이도 추론 시 계산 자원 예산에 따라 유연하게 적응할 수 있는가?
• RQ2 통합된 모델을 사용해 다양한 계산 제약 조건 하에서 정확도-효율성 트레이드오프를 최적화할 수 있는가?
• RQ3 PoWER-BERT의 효율성 메커니즘을 스팸 기반 질의 응답과 같은 토큰 수준의 분류 작업으로 확장할 수 있는가?
• RQ4 표준 트랜스포머와 비교했을 때 길이 적응형 추론을 사용할 경우 추론 속도와 FLOPs에서 어떤 성능 향상이 이루어지는가?
• RQ5 유전적 탐색 전략이 최적의 길이 설정을 찾는 데서 히우리스틱 또는 임계값 기반 방법보다 우수한가?

주요 결과

• Length-Adaptive Transformer는 표준 BERT와 비교해 SQuAD 1.1, MNLI-m, SST-2에서 정확도 손실 없이 월클럭 추론 시간과 FLOPs를 최대 3배 향상시킨다.
• 모델은 모든 테스트된 길이 설정에서 강력한 성능를 유지하며, LengthDrop 덕분에 시퀀스 길이 변화에 대한 강건성을 입증한다.
• 유전적 탐색은 정확도와 효율성의 파레토 경계에 위치한 최적의 길이 설정을 성공적으로 식별했으며, 히우리스틱 또는 고정 임계값 접근 방식을 능가한다.
• Drop-and-Restore 과정을 통해 PoWER-BERT의 효율성 메커니즘이 이전에는 불가능했던 토큰 수준 작업, 예를 들어 스팸 기반 질의 응답에 적용 가능해졌다.
• 여러 NLP 벤치마크에서 기존 방법들인 Slimmable Networks와 DynaBERT에 비해 뛰어난 정확도-효율성 트레이드오프를 달성한다.
• 이 방법은 모듈러하고 HuggingFace Transformers와 호환되어 기존 NLP 파ip라인에 쉽게 통합할 수 있으며, 향후 다중 모odal 모델로의 확장에도 유용하다.