[논문 리뷰] AdaBERT: Task-Adaptive BERT Compression with Differentiable Neural Architecture Search

Daoyuan Chen, Yaliang Li외 8명|arXiv (Cornell University)|2020. 01. 13.

Topic Modeling참고 문헌 41인용 수 24

한 줄 요약

AdaBERT는 모델 효율성과 작업별 성능을 동시에 최적화하는 미분 가능 신경망 아키텍처 탐색(differentiable neural architecture search, NAS)을 사용한 작업 적응형 BERT 압축 방법을 제안한다. 작업 중심 지식 전이와 효율성 인지 손실을 통합함으로써, BERT와 비교해 유사한 정확도를 유지하면서도 여러 NLP 작업에서 12.7배에서 29.3배 빠른 추론 속도와 11.5배에서 17.0배 작아진 모델 크기를 달성한다.

ABSTRACT

Large pre-trained language models such as BERT have shown their effectiveness in various natural language processing tasks. However, the huge parameter size makes them difficult to be deployed in real-time applications that require quick inference with limited resources. Existing methods compress BERT into small models while such compression is task-independent, i.e., the same compressed BERT for all different downstream tasks. Motivated by the necessity and benefits of task-oriented BERT compression, we propose a novel compression method, AdaBERT, that leverages differentiable Neural Architecture Search to automatically compress BERT into task-adaptive small models for specific tasks. We incorporate a task-oriented knowledge distillation loss to provide search hints and an efficiency-aware loss as search constraints, which enables a good trade-off between efficiency and effectiveness for task-adaptive BERT compression. We evaluate AdaBERT on several NLP tasks, and the results demonstrate that those task-adaptive compressed models are 12.7x to 29.3x faster than BERT in inference time and 11.5x to 17.0x smaller in terms of parameter size, while comparable performance is maintained.

연구 동기 및 목표

• 제한된 자원을 가진 실시간 응용 프로그램에서 대규모 사전 학습된 BERT 모델을 배포하는 데 발생하는 비효율성을 해결하기 위해.
• 기존 BERT 압축 방법이 작업에 독립적인 모델을 생성해 작업별 최적화에 부적합하다는 한계를 극복하기 위해.
• 신경망 아키텍처 탐색을 활용해 자동으로 작업 적응형 소형 BERT 모델을 압축하는 자동화되고 효율적이며 효과적인 방법을 개발하기 위해.
• 탐색 과정 중 작업별 지식 전이와 효율성 인지 제약 조건을 통합하여 모델 효율성과 성능의 균형을 이루기 위해.

제안 방법

• AdaBERT는 작업 적응형 BERT 압축 아키텍처를 자동으로 탐색하기 위해 미분 가능 신경망 아키텍처 탐색(NAS)을 활용한다.
• fine-tuned BERT 모델의 중간 은닉 상태와 로짓을 기반으로 한 작업 중심 지식 전이 손실을 사용해 아키텍처 탐색을 유도한다.
• 모델 크기와 추론 속도 기반으로 탐색 공간을 제약하기 위해 효율성 인지 손실 항목을 도입하며, 명시적으로 효율성 메트릭을 모델링한다.
• BERT의 일반적 표현에서 작업별 지식을 추출하기 위해 프로브 모델을 사용해 탐색 공간을 계층적으로 축소한다.
• 이산 아키텍처 파라미터를 연속 분포로 완화함으로써 기울기 기반 최적화를 가능하게 하여 효율적인 아키텍처 탐색을 실현한다.
• 전체 손실 함수는 분류 정확도를 위한 교차 엔트로피 손실, 지식 전이를 위한 지식 전이 손실, 모델 효율성을 위한 효율성 인지 손실을 조합한다.

실험 결과

연구 질문

• RQ1 미분 가능 신경망 아키텍처 탐색이 작업에 적응하는 BERT 모델로의 압축에 효과적으로 적용될 수 있는가? 이는 작업에 독립적인 압축보다 성능이 뛰어나야 한다.
• RQ2 작업별 지식 전이를 통합함으로써 다양한 NLP 작업에서 압축된 BERT 모델의 성능 향상은 어떻게 이루어지는가?
• RQ3 효율성 인지 손실이 압축된 BERT 모델의 모델 크기, 추론 속도, 정확도 간의 트레이드오프에 미치는 영향은 무엇인가?
• RQ4 AdaBERT는 하류 NLP 작업에서 경쟁적인 성능을 유지하면서도 모델 크기와 추론 시간을 얼마나 줄일 수 있는가?

주요 결과

• AdaBERT는 여러 NLP 작업에서 BERT 대비 12.7배에서 29.3배 빠른 추론 속도를 달성한다.
• 압축된 모델은 파라미터 수가 BERT보다 11.5배에서 17.0배 작아서 모델 프로파일이 크게 감소한다.
• 중간 수준의 효율성 계수(β=4) 설정 시, 모델 크기와 성능 간 균형을 잘 이룩하여, 제약 없음 및 과도하게 효율성을 추구하는 설정보다 뛰어난 성능을 보인다.
• 제거 실험을 통해 지식 전이와 지도 학습 레이블 손실을 함께 사용할 경우 성능 향상이 뚜렷해지며, 특히 MRPC와 RTE와 같은 저자원 작업에서 두드러진다.
• 데이터 증강은 작은 규모의 데이터셋에서 지식 전이 과정 중 작업 중심 지식을 풍부하게 하여 성능 향상에 기여한다.
• 이 방법은 작업별 최적의 아키텍처를 성공적으로 식별하여, 정적 압축 기법에 비해 작업 적응형 압축의 효과성을 입증한다.