[논문 리뷰] Adapting by Pruning: A Case Study on BERT
이 논문은 사전 훈련된 BERT 모델에서 작업에 비적합한 연결을 제거하면서도 나머지 가중치를 그대로 유지하는 새로운 모델 적응 파라다임인 '프루닝을 통한 적응'(adapting by pruning)을 제안한다. 이는 최대 50%의 파라미터 감소로 테스트된 미세조정 모델과 유사한 성능을 달성한다. 이 방법은 프루닝을 미분 가능한 최적화 문제로 공식화하고, 제거된 연결을 재활성화하는 복구 과정이 고밀도 프루닝에서 성능을 높이는 데 핵심적임을 입증한다.
Adapting pre-trained neural models to downstream tasks has become the standard practice for obtaining high-quality models. In this work, we propose a novel model adaptation paradigm, adapting by pruning, which prunes neural connections in the pre-trained model to optimise the performance on the target task; all remaining connections have their weights intact. We formulate adapting-by-pruning as an optimisation problem with a differentiable loss and propose an efficient algorithm to prune the model. We prove that the algorithm is near-optimal under standard assumptions and apply the algorithm to adapt BERT to some GLUE tasks. Results suggest that our method can prune up to 50% weights in BERT while yielding similar performance compared to the fine-tuned full model. We also compare our method with other state-of-the-art pruning methods and study the topological differences of their obtained sub-networks.
연구 동기 및 목표
- 자원 제약이 있는 장치에서 미세조정된 BERT 모델의 높은 추론 비용 문제를 해결하기 위해, 재훈련 없이도 모델 크기를 줄이는 것.
- BERT의 아키텍처와 사전 훈련된 가중치를 모두 재사용하는 모델 적응 파라다임을 개발하여, 파라미터 확장을 방지하는 것.
- 특히 고밀도 프루닝 수준에서, 미세조정 없이도 높은 성능을 내는 하위 네트워크를 도출할 수 있는지 조사하는 것.
- 로또 티켓 및 크기 기반 프루닝 방법과 비교하여, 프루닝된 하위 네트워크의 구조적 특성과 민감도를 분석하는 것.
- 특히 연결 복구와 같은 핵심 메커니즘이 제안된 프루닝 프레임워크에서 뛰어난 성능을 가능하게 하는 이유를 규명하는 것.
제안 방법
- 이중 마스크에 대한 미분 가능한 최적화 문제로 프루닝 과정을 공식화하며, 목적은 다운스트림 작업 성능을 최대화하는 최적의 마스크를 찾는 것이다.
- 학습 가능한 파라미터 θ를 통해 이진 마스크의 연속적 근사화를 사용하여, 확률적 경량 최적화(SGD)를 통한 기울기 기반 최적화를 가능하게 한다.
- 남아 있는 연결 수를 제어하기 위해 미분 가능한 밀도 정규화를 적용하여, 모델 효율성과 성능 사이의 트레이드오프를 가능하게 한다.
- 표준 크기 기반 또는 로또 티켓 프루닝과 달리, 후속 훈련 단계에서 제거된 연결을 재활성화할 수 있는 동적 프루닝 전략을 도입한다.
- 두 단계 훈련 과정을 사용한다: 첫 번째로 마스크 파라미터 θ를 학습하고, 두 번째로 최종 마스크를 사전 훈련된 가중치에 적용한 후, 작업에 특화된 레이어만 미세조정한다.
- 온도 조절 시그모이드 함수를 사용하여 이진 마스크를 근사화함으로써, 마스크 선택 과정을 통해 역전파를 가능하게 한다.
실험 결과
연구 질문
- RQ1사전 훈련된 BERT 모델에서 작업에 비적합한 연결을 프루닝하면, 모델 크기를 줄이면서도 전체 미세조정 모델과 유사한 성능을 달성할 수 있는가?
- RQ2고밀도 프루닝 수준에서 제안된 프루닝 방법의 성능가 다른 최첨단 크기 기반 및 로또 티켓 프루닝 접근법과 비교해 볼 때 어떻게 되는가?
- RQ3특히 고밀도 하위 네트워크에서, 제거된 가중치를 재활성화하는 연결 복구 과정이 높은 성능을 달성하는 데 어떤 역할을 하는가?
- RQ4이 방법으로 확보된 하위 네트워크가 가중치 재초기화 및 마스크 재배치에 민감한가? 이는 선택된 연결의 구조적 중요성을 시사하는가?
- RQ5동일한 프루닝된 하위 네트워크를 최소한의 재훈련으로 여러 작업에 재사용할 수 있는가? 이는 이식 가능한 장치 환경에서의 효율적 적응을 가능하게 하는가?
주요 결과
- 제안된 방법은 GLUE 벤치마크 작업에서 전체 미세조정 BERT와 유사한 성능을 달성하면서도 최대 50%의 모델 파라미터를 프루닝한다.
- 밀도가 0.99(99% 프루닝)일 때, SST-2에서 50.9%의 정확도와 MNLI에서 32.8%의 정확도를 유지하며, 동일한 밀도 수준에서 다른 프루닝 방법보다 뛰어난 성능을 보인다.
- 이 방법으로 확보된 하위 네트워크는 가중치 재초기화 및 마스크 재배열에 매우 민감하여, 선택된 연결이 무작위로 분포되어 있지 않고 구조적으로 핵심적임을 시사한다.
- MNLI에서 0.99 밀도 하위 네트워크에서 연결 복구가 전체 연결의 12.3%를 차지하며, 이 메커니즘을 비활성화하면 특히 고밀도 프루닝에서 성능 저하가 심각하게 발생한다.
- 제안된 방법과 로또 티켓 프루닝 간의 성능 격차는 밀도가 높아질수록 커지며, 이는 연결 복구가 고성능 프루닝을 가능하게 하는 핵심 요소임을 시사한다.
- 이 방법을 통해 동일한 사전 훈련된 모델을 여러 작업에 재사용할 수 있으며, 작업에 특화된 이진 마스크만 다운로드하면 되므로, 모바일 장치에서의 데이터 전송 및 저장 비용을 줄일 수 있다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.