[논문 리뷰] LRC-BERT: Latent-representation Contrastive Knowledge Distillation for Natural Language Understanding

Hao Fu, Shaojun Zhou외 5명|arXiv (Cornell University)|2020. 12. 14.

Topic Modeling참고 문헌 40인용 수 5

한 줄 요약

LRC-BERT는 중간 레이어 표현을 BERT 교사 모델에서 학생 모델로 전달하기 위해 각도 거리 기반의 대비 학습(COS-NCE)을 사용하는 새로운 지식 정련 프레임워크를 제안한다. 이는 출력 값 매칭을 넘어서 구조적 분포 특성을 고려한 지식 정련을 가능하게 하며, 기울기 편향을 통한 정밀도 향상과 이중 단계 학습 전략을 통해 GLUE 벤치마크에서 최고 성능을 달성한다. 이는 일반화 능력과 안정성 향상에도 기여한다.

ABSTRACT

The pre-training models such as BERT have achieved great results in various natural language processing problems. However, a large number of parameters need significant amounts of memory and the consumption of inference time, which makes it difficult to deploy them on edge devices. In this work, we propose a knowledge distillation method LRC-BERT based on contrastive learning to fit the output of the intermediate layer from the angular distance aspect, which is not considered by the existing distillation methods. Furthermore, we introduce a gradient perturbation-based training architecture in the training phase to increase the robustness of LRC-BERT, which is the first attempt in knowledge distillation. Additionally, in order to better capture the distribution characteristics of the intermediate layer, we design a two-stage training method for the total distillation loss. Finally, by verifying 8 datasets on the General Language Understanding Evaluation (GLUE) benchmark, the performance of the proposed LRC-BERT exceeds the existing state-of-the-art methods, which proves the effectiveness of our method.

연구 동기 및 목표

• 기존의 자연어 처리(NLP) 지식 정련 방법은 중간 레이어 표현의 구조적 분포 특성을 忽시하고 출력 값 매칭에만 초점을 맞추므로 이를 해결하고자 한다.
• 지식 정련 과정에서 모델의 정밀도를 향상시키기 위해 기울기 편향 기반 아키텍처를 도입한 것은 지식 정련 분야에서 처음이다.
• 초기 학습 단계에서 분포 특성 학습을 우선시하는 이중 단계 학습 전략을 설계하여 교사에서 학생 모델로의 지식 전달 능력을 향상시키고자 한다.
• 학생 모델 아키텍처를 교사 모델의 레이어 제약에서 분리함으로써 더 유연한 학생 모델 설계를 가능하게 하여 압축의灵活性를 증가시키고자 한다.

제안 방법

• 중간 레이어 표현 간의 각도 유사도를 캡처하기 위해 코사인 기반 노이즈 대비 추정(COS-NCE) 기반의 새로운 대비 손실인 COS-NCE를 도입하여 표현의 구조적 분포 특성을 모델링한다.
• 전체 정련 손실을 단계별로 최적화하는 이중 단계 학습 전략을 적용하며, 초기에는 중간 레이어의 분포 학습에 집중하고 이후에 예측 헤드 손실을 통합한다.
• 학습 중 단어 임베딩 레이어에 기울기 편향을 적용하여 기울기 값을 활용해 은닉 상태를 변형함으로써 모델의 정밀도를 향상시킨다.
• KL 발산(부드러운 레이블용), 교차 엔트로피(단단한 레이블용), COS-NCE(중간 레이어 정련용) 등의 손실 요소를 조합하고 가중치를 적응적으로 조정한다.
• 차원 변환 행렬을 사용하여 학생 네트워크 설계의灵活性를 높이며, 학생 아키텍처를 교사 모델의 레이어와 정확히 일치시키지 않도록 분리한다.
• 교사 모델보다 파rameter 수가 적은 학생 모델을 사용하여 엣지 디바이스에서의 효율적 배포를 가능하게 하면서도 높은 성능를 유지한다.

실험 결과

연구 질문

• RQ1 각도 거리 기반의 대비 학습이 중간 표현의 값 매칭을 넘어서 NLP 분야의 지식 정련 성능을 향상시킬 수 있는가?
• RQ2 학습 중 기울기 편향을 적용함으로써 정련된 학생 모델의 정밀도가 향상되는가?
• RQ3 이중 단계 학습 전략이 초기 단계에서 분포 특성 학습에 집중함으로써 정련의 효과를 향상시킬 수 있는가?
• RQ4 기존 정련 기법과 비교할 때, 제안된 방법은 표준 벤치마크에서 정확도, 정밀도, 압축 효율성 측면에서 어떤 성능을 보이는가?

주요 결과

• LRC-BERT는 GLUE 벤치마크의 8개 데이터셋에서 모두 최고 성능을 기록하며 기존 정련 방법을 초월한다.
• 제거 실험 결과, COS-NCE 손실을 제거할 경우 MNLI-m 개발 세트에서 정확도가 4.0% 감소함을 확인하여 이 손실의 지식 전달에 핵심적인 역할을 함을 입증한다.
• 이중 단계 학습 전략은 비스테이지 버전 대비 성능을 4.0% 향상시키며, 초기 단계에서 분포 특성 학습에 집중함으로써 정련 효과가 향상됨을 보여준다.
• 기울기 편향은 두 번째 단계에서 학습 손실의 변동성을 줄이고 수렴성과 정밀도를 향상시켜 안정성을 높인다.
• COS-NCE 손실은 각도 유사도 특성을 효과적으로 캡처하여, MSE 기반 기준 모델이 임베딩 차이로 인해 실패할 경우에도 정확한 예측을 가능하게 한다.
• CoLA 작업에서는 기존 정련 방법 대비 13%의 성능 향상을 기록하여 각도 기반 정련의 유용성을 입증한다.