[논문 리뷰] BERT-EMD: Many-to-Many Layer Mapping for BERT Compression with Earth Mover's Distance

Jianquan Li, Xiaokang Liu외 4명|arXiv (Cornell University)|2020. 10. 13.

Topic Modeling참고 문헌 24인용 수 7

한 줄 요약

이 논문은 지식 전달을 최적화하기 위해 지구 이동 거리(EMD)를 사용하여 교사 및 학생 네트워크 간의 다대다 레이어 매핑을 가능하게 하는 새로운 BERT 정규화 방법인 BERT-EMD를 제안한다. 비용 주의 메커니즘을 통해 적응형 레이어 가중치를 학습함으로써 BERT-EMD는 최신 기술 수준의 압축 성능을 달성하며, 파arameter 수와 추론 시간을 50%로 줄였음에도 불구하고 9개의 GLUE 작업 중 7개에서 BERT-Base를 능가한다.

ABSTRACT

Pre-trained language models (e.g., BERT) have achieved significant success in various natural language processing (NLP) tasks. However, high storage and computational costs obstruct pre-trained language models to be effectively deployed on resource-constrained devices. In this paper, we propose a novel BERT distillation method based on many-to-many layer mapping, which allows each intermediate student layer to learn from any intermediate teacher layers. In this way, our model can learn from different teacher layers adaptively for various NLP tasks. %motivated by the intuition that different NLP tasks require different levels of linguistic knowledge contained in the intermediate layers of BERT. In addition, we leverage Earth Mover's Distance (EMD) to compute the minimum cumulative cost that must be paid to transform knowledge from teacher network to student network. EMD enables the effective matching for many-to-many layer mapping. %EMD can be applied to network layers with different sizes and effectively measures semantic distance between the teacher network and student network. Furthermore, we propose a cost attention mechanism to learn the layer weights used in EMD automatically, which is supposed to further improve the model's performance and accelerate convergence time. Extensive experiments on GLUE benchmark demonstrate that our model achieves competitive performance compared to strong competitors in terms of both accuracy and model compression.

연구 동기 및 목표

• 일대일 레이어 매핑의 한계를 해결하기 위해, 이는 이론적 지침이 부족하고 다양한 NLP 작업에 적응하지 못한다는 점이다.
• 각 학생 레이어가 작업에 맞는 언어 지식 요구 사항을 반영하여 어떤 중간 교사 레이어에서나 동적으로 학습할 수 있도록 하기 위해.
• 지구 이동 거리(EMD)를 사용하여 교사-학생 레이어 간의 거리를 최적 운반 문제로 공식화함으로써 지식 전달을 최적화하기 위해.
• 비용 주의 메커니즘을 통해 각 교사 레이어의 중요도를 자동으로 학습함으로써 성능 향상과 수렴 속도 향상을 도모하기 위해.
• 성능 손실 없이 고도로 압축 효율적인 성능을 달성하여 자원 제약이 있는 장치에 배포 가능하게 하기 위해.

제안 방법

• 각 중간 학생 레이어가 모든 중간 교사 레이어에 액세스할 수 있는 다대다 레이어 매핑 전략을 제안하여, 작업 간에 적응형 지식 전달을 가능하게 한다.
• 지식 전달의 최소 누적 비용을 계산하기 위해 지구 이동 거리(EMD)를 사용하여, 은닉 표현의 최적 운반을 모델링한다.
• EMD에 대한 작업별 레이어 가중치를 학습하는 비용 주의 메커니즘을 도입하여, 다양한 교사 레이어에 대한 중요도를 동적으로 할당한다.
• EMD 기반 지식 정규화를 해결하기 위해 운반 문제 공식을 사용하여 통합적이고 효율적인 지식 전달을 보장한다.
• 종단 간 최적화를 위해 EMD 기반 손실과 주의 가중치 기반 레이어 매칭을 기반으로 한 지식 정규화 손실을 사용하여 학생 모델을 훈련시킨다.
• 재현 가능성을 위해 코드와 데이터를 https://github.com/lxk00/BERT-EMD 에서 공개한다.

실험 결과

연구 질문

• RQ1 일대일 매핑 대비 다대다 레이어 매핑 전략이 BERT 압축에서 지식 정규화 성능을 향상시키는가?
• RQ2 지구 이동 거리(EMD)를 거리 측정 기준으로 사용할 경우 BERT 정규화에서 더 나은 지식 전달과 모델 성능을 달성하는가?
• RQ3 학습 가능한 비용 주의 메커니즘이 정규화 과정의 적응성과 수렴 속도를 향상시키는가?
• RQ4 BERT-EMD는 다양한 NLP 작업에서 뚜렷이 감소된 모델 크기와 추론 시간으로도 경쟁 가능한 성능을 달성하는가?
• RQ5 RTE와 MNLI와 같은 언어적 복잡도가 다른 작업 간에 모델 성능는 어떻게 변화하는가?

주요 결과

• 6층으로 압축된 BERT-EMD는 9개의 GLUE 작업 중 7개에서 원본 12층 BERT-Base 모델을 능가하여 뛰어난 압축 효율성을 입증한다.
• RTE 작업에서 BERT-EMD는 BERT-Base 대비 5.3%의 정확도 향상을 달성하여 복잡한 추론 작업에서의 효과성을 입증한다.
• STS-B 작업에서 BERT-EMD는 BERT-Base 대비 스피어만 상관계수 1% 향상으로 회귀 기반 작업에서 더 나은 성능을 보였다.
• 제거 실험 결과, EMD 모듈을 제거하면 특히 STS-B에서 성능이 급격히 떨어지며, EMD가 최적 운반을 위한 핵심 요소임을 입증한다.
• 비용 주의 메커니즘이 성능 향상과 수렴 속도 향상에 기여함으로써, 작업별 레이어 중요도 학습에 있어 그 가치를 확인한다.
• 흐름 행렬의 시각화 결과, 다양한 작업이 다른 교사 레이어에 집중하는 것으로 나타났다. 예를 들어 RTE는 대각선 외의 매핑을 사용하는 반면, MNLI는 그렇지 않으며, 이는 적응형이고 작업 인식 기반의 지식 전달을 증명한다.