[논문 리뷰] ZEN 2.0: Continue Training and Adaption for N-gram Enhanced Text Encoders

Yan Song, Tong Zhang외 2명|arXiv (Cornell University)|2021. 05. 04.

Topic Modeling참고 문헌 40인용 수 28

한 줄 요약

ZEN 2.0은 n-그램 표현을 다듬고, 전체 n-그램 마스킹을 적용하며, 상대 위치 인코딩을 사용함으로써 ZEN을 확장한다; 대규모 데이터로 중국어 및 아랍어에 확장 가능하며, 다수의 NLP 태스크에서 최첨단 성능을 달성한다.

ABSTRACT

Pre-trained text encoders have drawn sustaining attention in natural language processing (NLP) and shown their capability in obtaining promising results in different tasks. Recent studies illustrated that external self-supervised signals (or knowledge extracted by unsupervised learning, such as n-grams) are beneficial to provide useful semantic evidence for understanding languages such as Chinese, so as to improve the performance on various downstream tasks accordingly. To further enhance the encoders, in this paper, we propose to pre-train n-gram-enhanced encoders with a large volume of data and advanced techniques for training. Moreover, we try to extend the encoder to different languages as well as different domains, where it is confirmed that the same architecture is applicable to these varying circumstances and new state-of-the-art performance is observed from a long list of NLP tasks across languages and domains.

연구 동기 및 목표

• 더 큰 수준의 의미를 포착하기 위해 명시적 n-그램 정보를 포함시켜 문자 기반 인코더의 개선을 동기부여한다.
• ZEN-2.0의 개선안(가중 n-그램 표현, 전체 n-그램 마스킹, 상대 위치 인코딩)을 제안하여 모델 크기를 확장할 때 학습을 향상시키는 것.
• 향상된 ZEN을 중국어와 아랍어에 적용하고 광범위한 NLP 태스크에서 평가하여 일반화를 입증한다.
• 학습 단계, n-그램 가중치, 마스킹 전략, 인코딩 선택에 대한 실증적 분석을 제공하여 성능 및 학습 효율성에 미치는 영향을 파악한다.

제안 방법

• ZEN을 ZEN-2.0으로 확장하여 별도의 n-그램 인코더를 갖춘 BERT-large 사이즈로 확장한다.
• 문헌에 따라 각 n-그램의 코퍼스 빈도에 따라 가중치를 두고 문자 인코더에 통합하는 방식으로 n-그램 표현을 다듬는다.
• 필요한 분할기에서 구성된 전체 n-그램을 마스킹하는 방식으로 전체 n-그램 마스킹을 구현하고, 개별 문자 대신 전체 n-그램을 마스킹한다.
• 문자 인코더에 대해 상대 위치 인코딩을 채택하여 주의에서 거리와 방향을 모델링하고 학습 가능한 투영을 사용한다.
• 중국어와 아랍어의 대규모 언어 데이터로 MLM 및 NSP 목표를 사용하여 훈련하고, PMI 기반 n-그램 어휘 추출과 두 모델 구성(문자 인코더 및 n-그램 인코더)을 사용한다.
• 중국어와 아랍어에 대한 다중 NLP 벤치마크에서 미세조정하여 CWS, POS, NER, DC, SA, SPM, NLI, MRC, QA(Chinese) 및 POS, NER, DC, SA, NLI, MRC(Arabic)를 평가한다.

실험 결과

연구 질문

• RQ1 계속 학습하고 모델 크기를 키울 때 n-그램 표현은 여전히 유용한가?
• RQ2 가중 n-그램 표현, 전체 n-그램 마스킹, 상대 위치 인코딩과 같은 개선이 다언어에서 ZEN의 성능을 향상시킬 수 있는가?
• RQ3 n-그램 증강을 갖춘 ZEN 아키텍처가 중국어를 넘어 아랍어와 같은 언어에서도 효과적인가?
• RQ4 학습 단계, 마스킹 전략, 인코딩 선택이 사전 학습 효과와 하류 성능에 어떤 영향을 미치는가?

주요 결과

• ZEN-2.0은 base 및 large 변형에서 9개의 중국어 NLP 태스크에서 새로운 최첨단 성능을 달성했다.
• ZEN-2.0은 평가된 태스크에서 기존 중국어 인코더와 ZEN 1.0을 능가했다.
• ZEN-2.0은 아랍어 태스크에서도 베이스라인을 능가하여 n-그램 개선의 다언어 일반화를 입증했다.
• 정제된 가중 n-그램 표현과 전체 n-그램 마스킹은 표현 품질과 학습 효율성 향상에 기여한다.
• 상대 위치 인코딩은 특히 Arabic NER 및 다른 태스크에서 추가 이점을 제공한다.
• 사례 연구 및 질적 분석은 ZEN-2.0의 n-그램 표현이 의미상 관련 구를 군집화하여 정보의 의미 있는 세분화를 반영함을 보인다.