[논문 리뷰] Taking Notes on the Fly Helps BERT Pre-training

Qiyu Wu, Xing Chen외 4명|arXiv (Cornell University)|2020. 08. 04.

Topic Modeling참고 문헌 33인용 수 4

한 줄 요약

이 논문은 빈도가 낮은 단어의 맥락적 표현을 처음으로 만날 때 동적으로 메모 사전을 유지함으로써 BERT 및 ELECTRA 사전 훈련의 효율성을 향상시키는 Taking Notes on the Fly (TNF)를 제안한다. 이 메모 사전은 이후 재등장할 때 해당 단어의 맥락적 표현을 풍부하게 하여 문장 간 의미적 풍부함을 제공한다. TNF는 동일한 성능을 달성하면서도 사전 훈련 시간을 60% 감소시키며, 대부분의 후행 작업에서 기준 모델을 능가한다. 특히 ELECTRA에서는 평균 GLUE 점수 0.8점 향상 기록.

ABSTRACT

How to make unsupervised language pre-training more efficient and less resource-intensive is an important research direction in NLP. In this paper, we focus on improving the efficiency of language pre-training methods through providing better data utilization. It is well-known that in language data corpus, words follow a heavy-tail distribution. A large proportion of words appear only very few times and the embeddings of rare words are usually poorly optimized. We argue that such embeddings carry inadequate semantic signals, which could make the data utilization inefficient and slow down the pre-training of the entire model. To mitigate this problem, we propose Taking Notes on the Fly (TNF), which takes notes for rare words on the fly during pre-training to help the model understand them when they occur next time. Specifically, TNF maintains a note dictionary and saves a rare word's contextual information in it as notes when the rare word occurs in a sentence. When the same rare word occurs again during training, the note information saved beforehand can be employed to enhance the semantics of the current sentence. By doing so, TNF provides better data utilization since cross-sentence information is employed to cover the inadequate semantics caused by rare words in the sentences. We implement TNF on both BERT and ELECTRA to check its efficiency and effectiveness. Experimental results show that TNF's training time is $60\%$ less than its backbone pre-training models when reaching the same performance. When trained with the same number of iterations, TNF outperforms its backbone methods on most of downstream tasks and the average GLUE score. Source code is attached in the supplementary material.

연구 동기 및 목표

• 희귀 단어의 임베딩 품질이 열악하여 데이터 활용도가 떨어지는 문제를 개선함으로써, 비지도 언어 사전 훈련의 효율성을 높이는 것.
• 희귀 단어의 임베딩이 노이즈가 많고 최적화가 되어 있지 않아 모델 수렴을 방해하는 문제를 해결하는 것.
• 희귀 단어의 문장 간 맥락을 활용하여 사전 훈련 시간을 단축시키되, 모델 성능을 손상시키지 않는 것.
• 특히 자원이 부족한 후행 작업에서 더 효과적인 초기화를 제공하는 것.

제안 방법

• 사전 훈련 중 희귀 단어를 키로, 첫 등장 시의 맥락적 표현을 값으로 하는 메모 사전을 유지한다.
• 희귀 단어가 재등장할 경우, 저장된 메모를 활용해 현재 문장 내 해당 단어의 맥락적 표현을 풍부하게 한다.
• 순전파 과정에서 입력 임베딩 레이어에 메모 기반 표현을 통합하며, 메모 영향력을 제어하기 위한 학습 가능한 게이트 메커니즘을 사용한다.
• 메모 표현을 통해 역전파를 수행함으로써 사전 훈련 중 메모 사전을 업데이트하여 동적 개선을 가능하게 한다.
• BERT 및 ELECTRA 아키텍처 모두에 이 방법을 적용하며, 아키텍처 변경 최소화와 추가적인 미세조정 오버헤드 없이 구현한다.
• 희귀 단어 탐지에 임계값 기반 메커니즘을 사용하여 사전에 추가할 단어를 결정한다.

실험 결과

연구 질문

• RQ1 희귀 단어에 대해 문장 간 맥락 신호를 활용하면 사전 훈련 중 데이터 활용도가 향상되는가?
• RQ2 실시간으로 생성된 메모를 통해 희귀 단어 표현을 풍부화하면 사전 훈련 시간은 단축되면서도 성능은 유지 또는 향상되는가?
• RQ3 TNF는 자원이 부족한 데이터셋에서 후행 작업 일반화에 어떤 영향을 미치는가?
• RQ4 미세조정 중 메모 사전을 유지하거나 업데이트하는 것이 어떤 영향을 미치는가?
• RQ5 TNF 성능은 메모 업데이트 빈도나 희귀 단어 포함 임계값과 같은 하이퍼파라미터에 얼마나 민감한가?

주요 결과

• TNF는 기반 모델(BERT 및 ELECTRA)과 동일한 성능에 도달할 때 사전 훈련 시간을 60% 감소시킨다.
• 동일한 반복 횟수로 훈련한 결과, TNF는 GLUE 작업 8개 중 7개에서 기반 모델을 능가하며, ELECTRA의 경우 평균 GLUE 점수 0.8점 향상 기록.
• CoLA 작업에서 TNF는 BERT보다 F1 점수 1.2점, ELECTRA보다 0.8점 향상되어 자원이 부족한 작업에서의 강력한 일반화 능력을 보여준다.
• 희귀 단어가 포함된 문장의 검증 MLM 손실은 메모를 사용할 경우가 가장 낮다(TNF with notes < BERT < TNF without notes), 이는 메모가 모델 파rameter에 포함되지 않은 유용한 의미 신호를 담고 있음을 확인한다.
• 미세조정 중 고정된 메모(TNF-F)와 업데이트되는 메모(TNF-U) 모두 기준 모델을 초월하지만, TNF에 비해 略적으로 성능이 떨어지며, 이는 사전 훈련 데이터와 미세조정 데이터 간 분포 차이를 반영한다.
• 민감도 분석 결과, 다양한 하이퍼파라미터 설정에서도 TNF 성능이 안정적이며, 이는 강건성을 보여준다.