[논문 리뷰] Further Boosting BERT-based Models by Duplicating Existing Layers: Some Intriguing Phenomena inside BERT

Wei-Tsung Kao, Tsung-Han Wu외 3명|arXiv (Cornell University)|2020. 01. 25.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 재학습 없이 기존 레이어를 복제하는 간단하면서도 효과적인 방법을 제안한다. 이는 대부분의 BERT 레이어가 출력에서 상당히 유사하거나 여유롭다는 관찰에 기반한다. 이 방법은 다양한 NLP 작업에서 최종 성능을 크게 향상시키며, 깊이 있는 모델을 레이어 복제만으로도 만들 수 있음을 보여준다.

ABSTRACT

Although Bidirectional Encoder Representations from Transformers (BERT) have achieved tremendous success in many natural language processing (NLP) tasks, it remains a black box, so much previous work has tried to lift the veil of BERT and understand the functionality of each layer. In this paper, we found that removing or duplicating most layers in BERT would not change their outputs. This fact remains true across a wide variety of BERT-based models. Based on this observation, we propose a quite simple method to boost the performance of BERT. By duplicating some layers in the BERT-based models to make it deeper (no extra training required in this step), they obtain better performance in the down-stream tasks after fine-tuning.

연구 동기 및 목표

• BERT 기반 모델의 레이어 기능적 중복성 조사
• 재학습 없이 레이어 복제가 모델 성능 향상에 기여할 수 있는지 탐색
• 레이어 복제가 최종 작업 성능 향상에 기여하는 이유 이해
• 아키텍처 수정을 통해 BERT 기반 모델을 효과적으로 향상시키는 단순한 방법 제공

제안 방법

• 저자는 BERT의 대부분 레이어를 제거하거나 복제해도 출력이 거의 동일하다는 것을 관찰하여, 기능적 중복성이 있음을 확인한다.
• BERT 기반 모델의 특정 레이어를 복제하여 깊이를 증가시키며, 복제 단계에서는 어떤 미세조정도 수행하지 않는다.
• 복제된 모델은 표준 절차에 따라 최종 작업에 대해 미세조정된다.
• 이 방법은 다양한 BERT 기반 아키텍처에 적용되었으며, 일관된 성능 향상을 보였다.
• 복제 단계에서는 추가 파라미터나 학습이 필요 없어 계산적으로 효율적이다.

실험 결과

연구 질문

• RQ1 왜 BERT의 대부분 레이어가 유사한 출력을 내보내며, 이는 중복성을 시사하는가?
• RQ2 재학습 없이 기존 레이어를 복제하면 성능 향상이 이루어지는가?
• RQ3 레이어 복제를 통해 깊이를 증가시키면 최종 NLP 작업에서 일반화 성능이 향상되는가?
• RQ4 레이어 복제가 BERT 기반 모델의 표현 능력에 어떤 영향을 미치는가?

주요 결과

• BERT 기반 모델의 레이어 복제는 다양한 최종 NLP 작업에서 일관된 성능 향상을 이끈다.
• 복제 과정에서 추가 학습이 전혀 필요 없이 아키텍처 수정만으로 성능 향상이 달성된다.
• 이 방법은 다양한 BERT 기반 아키텍처에 적용되었으며, 광범위한 적용 가능성을 보여준다.
• 레이어를 제거하거나 복제해도 출력이 안정적으로 유지된다는 관찰은 BERT의 레이어 설계에 상당한 중복성이 있음을 드러낸다.