[논문 리뷰] Rethinking embedding coupling in pre-trained language models

Hyung Won Chung, Thibault Févry외 3명|arXiv (Cornell University)|2020. 10. 24.

Topic Modeling참고 문헌 56인용 수 11

한 줄 요약

이 논문은 사전 훈련된 언어 모델에서 입력 임베딩과 출력 임베딩을 연결하는 표준적인 관행을 도전하며, 특히 출력 임베딩 차원을 증가시켜 입력과 출력 임베딩의 차원을 분리함으로써, 파라미터 수를 늘리지 않고도 모델의 일반화 능력과 전이 가능성(transferability)을 향상시킨다. 절약된 파라미터를 더 깊고 넓은 트랜스포머 레이어에 재할당함으로써, 저자들은 더 적은 사전 훈련 토큰 수로 다국어 벤치마크에서 최신 기준 성능을 달성한다. 이는 더 큰 출력 임베딩이 과도한 전문화를 방지하고, 다국어 및 다과제 전이 가능성을 향상시킨다는 것을 보여준다.

ABSTRACT

We re-evaluate the standard practice of sharing weights between input and output embeddings in state-of-the-art pre-trained language models. We show that decoupled embeddings provide increased modeling flexibility, allowing us to significantly improve the efficiency of parameter allocation in the input embedding of multilingual models. By reallocating the input embedding parameters in the Transformer layers, we achieve dramatically better performance on standard natural language understanding tasks with the same number of parameters during fine-tuning. We also show that allocating additional capacity to the output embedding provides benefits to the model that persist through the fine-tuning stage even though the output embedding is discarded after pre-training. Our analysis shows that larger output embeddings prevent the model's last layers from overspecializing to the pre-training task and encourage Transformer representations to be more general and more transferable to other tasks and languages. Harnessing these findings, we are able to train models that achieve strong performance on the XTREME benchmark without increasing the number of parameters at the fine-tuning stage.

연구 동기 및 목표

• 사전 훈련된 언어 모델에서 입력과 출력 임베딩을 연결하는 광범위한 관행을 재평가하는 것, 특히 다국어 환경에서의 적용을 중심으로.
• 입력과 출력 임베딩 차원을 분리하면 모델의 유연성, 파라미터 효율성, 그리고 최종 테스크 성능이 향상되는지 조사하는 것.
• 출력 임베딩 차원을 증가시키면 사전 훈련 후 폐기되는 것으로 알려진 점을 감안할 때도 표현 일반화 능력과 전이 가능성 향상에 기여하는지 확인하는 것.
• mBERT를 재균형 조정한 모델(Rebalanced mBERT, RemBERT)을 설계하고 평가하여, 동일한 파라미터 수로 XLM-R을 능가하는 성능을 내며 더 적은 사전 훈련 토큰 수로 훈련하는 것.

제안 방법

• 인코더 전용 모델에서 입력과 출력 임베딩 차원을 분리하여 각각을 별도로 최적화할 수 있도록 한다.
• 입력 임베딩 차원을 안전하게 감소시켜 절약된 파라미터를 트랜스포머 레이어의 너비와 깊이에 재할당한다.
• 사전 훈련 후 폐기되는 것으로 알려져 있음에도 불구하고, 출력 임베딩 차원을 입력 차원을 초월해 증가시켜 사전 훈련 신호와 표현 품질을 향상시킨다.
• mBERT와 동일한 수의 파라미터로 파라미터 할당을 최적화한 Rebalanced mBERT(RebBERT) 모델을 훈련한다.
• 혼합 전략을 사용한 探측 분석(Tenney et al., 2019)을 통해 POS, SRL, 공명성 등 9개 과제에서 일반적인 NLP 능력을 평가한다.
• 영어에서 독일어로의 최근접 이웃 번역 정확도를 계층별로 측정하여 언어에 관계없이 표현을 학습하는 능력(언어 간 일관성)을 평가한다.

실험 결과

연구 질문

• RQ1 입력과 출력 임베딩 차원을 분리하면 다국어 사전 훈련된 모델에서 최종 테스크 성능이 향상되는가?
• RQ2 출력 임베딩 차원을 늘리면 사전 훈련 후 폐기되는 것으로 알려져 있음에도 불구하고, 모델의 일반화 능력과 전이 가능성 향상에 기여하는가?
• RQ3 더 큰 출력 임베딩은 마지막 트랜스포머 레이어가 사전 훈련 작업에 과도하게 특화되는 것을 어느 정도 방지하는가?
• RQ4 임베딩 분리가 다국어 모델에서 언어 간 일치성과 전이 가능성에 어떤 영향을 미치는가?
• RQ5 임베딩 분리를 통해 파라미터 할당을 최적화하면, 더 적은 사전 훈련 토큰 수로 XLM-R과 같은 강력한 베이스라인을 능가할 수 있는가?

주요 결과

• 출력 임베딩 차원을 128에서 3072로 증가시킴으로써, 9개의 NLP 과제 전반에서 探측 정확도가 향상되었으며, 파라미터 수를 늘리지 않고도 평균 0.5점의 성능 향상을 기록했다.
• Rebalanced mBERT(RemBERT) 모델은 XLM-R보다 XTREME 벤치마크에서 더 높은 성능을 보였으며, 사전 훈련 토큰 수는 3.5배 적고, 파라미터 수는 동일했다.
• 더 큰 출력 임베딩은 영어에서 독일어로의 최근접 이웃 번역 정확도 향상으로 나타나, 고차원 트랜스포머 레이어에서 더 평탄하고 언어에 관계없는 표현이 됨을 보여주었다.
• 더 큰 출력 임베딩에서 유도된 성능 향상은 파라미터 튜닝 과정 동안에도 유지되었으며, 이는 사전 훈련 품질이 최종 테스크 전이 가능성에 직접적인 영향을 미친다는 것을 시사한다.
• 임베딩 차원 분리를 통해 입력 임베딩을 안전하게 감소시켜 성능 손실 없이 파라미터를 더 깊고 넓은 트랜스포머 레이어에 재할당할 수 있었다.
• 탐색 분석 결과, 더 큰 출력 임베딩은 사전 훈련 목표에 대한 과도한 특화를 줄임으로써, 특히 상위 레이어에서 일반적인 NLP 능력을 향상시킨다.