[논문 리뷰] Efficient Contextualized Representation: Language Model Pruning for Sequence Labeling

Liyuan Liu, Xiang Ren외 3명|arXiv (Cornell University)|2018. 04. 20.

Topic Modeling참고 문헌 31인용 수 6

한 줄 요약

이 논문은 사전 훈련된 언어 모델에서 계층 선택을 통해 효율적인 컨텍스트 기반 표현을 제공하는 LD-Net을 제안한다. 밀집 연결성과 희소성 유도 정규화를 사용하여 재훈련 없이도 프루닝이 가능하게 한다. CoNLL03 NER에서 최대 91.86%의 F1을 기록하며, 계산량을 90% 이상 감소시켰고, 더 작은 모델들과 이전 방법들보다 뛰어난 성능을 보였다.

ABSTRACT

Many efforts have been made to facilitate natural language processing tasks with pre-trained language models (LMs), and brought significant improvements to various applications. To fully leverage the nearly unlimited corpora and capture linguistic information of multifarious levels, large-size LMs are required; but for a specific task, only parts of these information are useful. Such large-sized LMs, even in the inference stage, may cause heavy computation workloads, making them too time-consuming for large-scale applications. Here we propose to compress bulky LMs while preserving useful information with regard to a specific task. As different layers of the model keep different information, we develop a layer selection method for model pruning using sparsity-inducing regularization. By introducing the dense connectivity, we can detach any layer without affecting others, and stretch shallow and wide LMs to be deep and narrow. In model training, LMs are learned with layer-wise dropouts for better robustness. Experiments on two benchmark datasets demonstrate the effectiveness of our method.

연구 동기 및 목표

• 시퀀스 레이블링 작업 동안 추론 시 대규모 사전 훈련된 언어 모델의 계산 비용을 줄이기 위해.
• 특히 순차적 의존성이 있는 RNN 기반 아키텍처에서 비용이 많이 드는 재훈련 없이 모델 압축을 가능하게 하기 위해.
• 특정 다운스트림 작업에 가장 관련성이 높은 계층만 식별하고 유지하기 위해.
• 구조적 프루닝을 통해 모델 크기와 추론 비용을 크게 줄이면서도 높은 성능을 유지하기 위해.
• 기존 언어 모델과 다운스트림 모델과 호환되는 즉시 사용 가능한 압축 프레임워크 개발하기 위해.

제안 방법

• RNN에 밀집 연결성을 도입하여 각 계층을 독립적으로 분離할 수 있도록 하여, 네트워크 구조에 영향을 주지 않고도 계층 프루닝이 가능하게 한다.
• 이중 선택 가중치를 장려하기 위해 수정된 L1을 활용한 희소성 유도 정규화를 적용하여 희소하고 이진적인 계층 선택을 유도한다.
• 후속 프루닝을 위한 강건성과 일반화 능력을 향상시키기 위해 훈련 중 계층별 드롭아웃을 적용한다.
• 목표 작업에 대해 가장 정보가 많은 계층만 식별하고 유지하는 학습 가능한 계층 선택 메커니즘을 활용한다.
• 밀집 연결성을 통해 넓고 浅은 RNN을 깊고 좁은 아키텍처로 대체하여 세밀한 프루닝이 가능하게 한다.
• 최종 작업 성능에 기여하는 계층 기반으로 선택하는 프루닝 전략을 설계하여 전체 재훈련을 피한다.

실험 결과

연구 질문

• RQ1 재훈련 없이도 성능을 유지하면서 대규모 사전 훈련된 언어 모델을 시퀀스 레이블링에 대해 압축할 수 있는가?
• RQ2 표준 스태킹 방식이 개별 계층 제거를 방해함에도 불구하고, 어떻게 RNN 계층의 구조적 프루닝을 가능하게 할 수 있는가?
• RQ3 밀집 연결성이 효율적이고 강건한 모델 프루닝을 어떻게 가능하게 하는가?
• RQ4 얼마나 많은 FLOPs 감소를 이루면서도 계층 선택이 성능을 유지할 수 있는가?
• RQ5 계층별 드롭아웃과 희소성 정규화를 통해 훈련된 프루닝된 모델이 더 작은 독립적 훈련 모델보다 성능이 뛰어나게 되는가?

주요 결과

• CoNLL03 NER 데이터셋에서 LD-Net은 91.86% ± 0.15%의 F1 점수를 기록했으며, 프루닝되지 않은 기준점(90.78% ± 0.24%)보다 유의미한 향상이 이루어졌다.
• 90% 이상의 FLOPs를 프루닝한 후에도 F1 점수는 91.84% ± 0.14%를 유지했으며, 더 작은 모델들과 이전 방법들인 TagLM(91.62%)와 R-ELMo(91.54%)를 모두 능가했다.
• CoNLL03에서 계산량이 90% 이상 감소했음에도 불구하고 오차는 2%만 상승하여 매우 높은 효율성을 보였다.
• CoNLL00 Chunking 작업에서는 NoLM 기준점 대비 25%의 오차 감소를 기록했지만, 데이터셋 크기가 작아 성능 저하가 더 빠르게 발생했다.
• 계층 선택은 두 개의 명확한 클러스터를 보였다: 일부 계층은 일관되게 유지되고, 다른 일부는 자주 프루닝되며, 이는 계층 중요성에 대한 의미 있는 구조적 패턴을 시사한다.
• 다양한 런과 데이터셋에서 일관된 성능 향상이 관찰되었고, 심한 프루닝 조건에서도 성능 저하가 최소화되어 메서드의 효과가 검증되었다.