[논문 리뷰] Efficient Fine-Tuning of BERT Models on the Edge

Danilo Vucetic, Mohammadreza Tayaranian외 4명|arXiv (Cornell University)|2022. 05. 03.

Distributed and Parallel Computing Systems인용 수 4

한 줄 요약

이 논문은 활성화 및 기울기 메모리 사용을 줄이기 위해 일부 파라미터를 고정하고 모델 아키텍처를 재구성함으로써 엣지 디바이스에서 BERT 유사 모델에 대한 메모리 효율적인 미세조정 방법인 Freeze And Reconfigure (FAR)를 제안한다. FAR는 DistilBERT에서 30%의 미세조정 시간 감소와 47%의 메모리 액세스 시간 감소를 이끌었으며, GLUE 및 SQuAD 벤치마크에서 평균 성능 저하가 1%에 불과하다.

ABSTRACT

Resource-constrained devices are increasingly the deployment targets of machine learning applications. Static models, however, do not always suffice for dynamic environments. On-device training of models allows for quick adaptability to new scenarios. With the increasing size of deep neural networks, as noted with the likes of BERT and other natural language processing models, comes increased resource requirements, namely memory, computation, energy, and time. Furthermore, training is far more resource intensive than inference. Resource-constrained on-device learning is thus doubly difficult, especially with large BERT-like models. By reducing the memory usage of fine-tuning, pre-trained BERT models can become efficient enough to fine-tune on resource-constrained devices. We propose Freeze And Reconfigure (FAR), a memory-efficient training regime for BERT-like models that reduces the memory usage of activation maps during fine-tuning by avoiding unnecessary parameter updates. FAR reduces fine-tuning time on the DistilBERT model and CoLA dataset by 30%, and time spent on memory operations by 47%. More broadly, reductions in metric performance on the GLUE and SQuAD datasets are around 1% on average.

연구 동기 및 목표

• 자원이 제한된 엣지 디바이스에서 대규모 BERT 유사 모델의 현장에서의 미세조정에 도전하는 문제를 해결한다.
• 활성화 및 기울기 저장으로 인해 추론보다 훨씬 높은 메모리 및 계산 오버헤드를 줄인다.
• 클라우드 기반 재학습에 의존하지 않고도 동적 환경에서 사전학습된 언어 모델의 실질적인 현장 적응을 가능하게 한다.
• 엣지 하드웨어에서 학습 자원 소비를 극적으로 줄이면서도 높은 모델 성능을 유지한다.
• 비정형 메모리 액세스 패턴이 흔한 프루닝 기반 방법과는 달리, 체계적이고 효율적인 파라미터 고정 전략을 개발한다.

제안 방법

• 선택적 미세조정을 위한 고학습 잠재력이 높은 파라미터 그룹을 식별하기 위해 새로운 L1-노름 기반 메트릭을 도입한다.
• 냉각 및 비냉각 파라미터를 함께 그룹화하여 메모리 액세스 국소성을 향상시키는 동적 아키텍처 재구성 기법을 제안한다.
• 이중 단계 프로세스를 구현한다: 학습 잠재력 노드의 초기화(프라밍) 이후 유지율 백분율에 기반한 선택적 가중치 업데이트.
• 학습 오버헤드를 최소화하기 위해 1% 프라밍을 사용하며, 유지율 백분율(예: 10%, 40%)을 통해 효율성과 정확성 사이의 트레이드오��� 제어.
• 비핵심 레이어나 노드에만 선택적으로 파라미터 고정을 적용하여 전체 레이어 고정을 피함으로써 모델 용량을 유지한다.
• 모델의 파라미터 레이아웃을 재구성하여 캐시 미스와 주 메모리 대역폭 사용을 줄임으로써 메모리 액세스 패턴을 최적화한다.

실험 결과

연구 질문

• RQ1 선택적 파라미터 고정과 아키텍처 재구성의 조합이 엣지 디바이스에서 BERT 미세조정 시 메모리 사용을 크게 줄일 수 있는가?
• RQ2 모델 성능에 심각한 하락을 초래하지 않고도 미세조정 시간과 메모리 액세스 오버헤드를 얼마나 줄일 수 있는가?
• RQ3 프라밍 및 유지율 백분율의 선택이 압축된 BERT 모델의 미세조정에서 효율성과 정확성의 트레이드오프에 어떤 영향을 미치는가?
• RQ4 기존의 베이스라인(예: BitFit 및 무작위 노드 선택)에 비해 제안된 방법이 효율성과 성능 측면에서 뛰어나게 되는가?
• RQ5 이 방법은 DistilBERT와 같은 다른 압축 모델에 일반화되어 다양한 NLP 작업(예: GLUE 및 SQuAD)에 적용될 수 있는가?

주요 결과

• 10% 유지율과 1% 프라밍 조건에서 CoLA 데이터셋에서 DistilBERT를 미세조정할 때 FAR는 미세조정 시간을 30% 감소시키고, 메모리 액세스 시간을 47% 감소시켰다.
• 40% 유지율 조건에서는 기준 모델 대비 미세조정 시간이 17% 감소하고, 메모리 액세스 시간이 36% 감소했다.
• GLUE 및 SQuAD 벤치마크에서의 평균 성능 저하는 오직 1%이며, 가장 낮은 저하(0.74%)는 40% 유지율 조건에서 FAR에서 관찰되었다.
• FAR는 무작위 노드 선택 및 BitFit보다 뛰어난 성능을 보였으며, 특히 SQuAD 2.0와 같은 복잡한 작업에서는 BitFit가 F1 점수에서 10% 이상 저하를 겪는다.
• 강력한 파라미터 고정 조건에서도 높은 성능을 유지함으로써, 과다 파라미터화가 선택적이고 효율적인 미세조정을 가능하게 함을 입증했다.
• 제거 실험 결과, 프라밍과 체계적 재구성이 필수적임을 확인했으며, 동일한 자원 제약 조건 하에서 무작위 선택 및 BitFit는 유의미하게 열등한 결과를 낳는다.