[논문 리뷰] Lexicon Enhanced Chinese Sequence Labeling Using BERT Adapter

Wei Liu, Xiyan Fu외 2명|arXiv (Cornell University)|2021. 05. 15.

Natural Language Processing Techniques참고 문헌 50인용 수 9

한 줄 요약

이 논문은 외부 어휘 지식을 BERT의 하위 레이어에 통합하기 위해 새로운 어휘 어댑터 레이어를 사용하는 Lexicon Enhanced BERT (LEBERT)를 제안한다. 이는 이산적인 어휘 특징과 맥락 기반 신경 표현 간의 깊은 융합을 가능하게 한다. LEBERT는 문자 수준에서 관련 어휘 단어에 동적으로 주목함으로써, 명명된 실체 인식, 어절 분리, 품사 태깅 작업을 포함한 10개의 중국어 시퀀스 태깅 데이터셋에서 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

Lexicon information and pre-trained models, such as BERT, have been combined to explore Chinese sequence labelling tasks due to their respective strengths. However, existing methods solely fuse lexicon features via a shallow and random initialized sequence layer and do not integrate them into the bottom layers of BERT. In this paper, we propose Lexicon Enhanced BERT (LEBERT) for Chinese sequence labelling, which integrates external lexicon knowledge into BERT layers directly by a Lexicon Adapter layer. Compared with the existing methods, our model facilitates deep lexicon knowledge fusion at the lower layers of BERT. Experiments on ten Chinese datasets of three tasks including Named Entity Recognition, Word Segmentation, and Part-of-Speech tagging, show that LEBERT achieves the state-of-the-art results.

연구 동기 및 목표

• 구조화된 어휘 지식 통합을 통해 중국어 시퀀스 태깅에서 한계가 있는 단어 경계 인식 문제를 해결하기 위해.
• 기존 어휘-BERT 통합 방법에서 얕고 무작위 초기화된 융합 레이어의 한계를 극복하기 위해.
• 모델 헤드가 아닌 BERT 레이어 수준에서 어휘 특징과 BERT 표현 간의 깊고 상호작용적인 융합을 가능하게 하기 위해.
• 더 나은 특징 융합을 통해 중국어 NER, CWS, POS 태깅에서 스파ن 경계 검출 및 스파인 유형 분류 성능을 향상시키기 위해.
• 학습 가능한 어댑터 메커니즘을 사용한 미세조정된 BERT와 함께 어휘 지식을 하위 레이어에 통합하는 효과를 경험적으로 검증하기 위해.

제안 방법

• 어휘 어댑터는 문자-단어 이중선형 어텐션 메커니즘을 사용하여 각 문자에 대해 사전에 정의된 어휘에서 관련 단어를 동적으로 추출한다.
• 어댑터는 BERT의 인접한 트랜스포머 레이어 사이에 삽입되어 어휘 특징과 맥락 표현 간의 지속적인 상호작용을 가능하게 한다.
• 외부 어휘 특징이 입력 문자와 매칭되어 문자-단어 쌍 시퀀스를 형성하며, 이는 어휘 수준의 지식으로 입력을 풍부하게 한다.
• BERT 파라미터와 어휘 어댑터를 모두 포함한 종단 간 엔드 투 엔드 미세조정을 통해 특징 정렬을 최적화한다.
• 어댑터는 여러 레이어(예: 레이어 1, 3, 6, 9, 12)에 적용되며, 융합 깊이의 영향을 평가하기 위해 추론 실험을 실시한다.
• 동일한 어댑터와 BERT 기반 아키텍처를 공유함으로써 NER, CWS, POS 태깅 간 다중 작업 학습을 지원한다.

실험 결과

연구 질문

• RQ1 모델 수준 융합과 비교해, BERT의 하위 레이어에 어휘 특징을 통합하는 것이 중국어 시퀀스 태깅 작업 성능 향상에 기여하는가?
• RQ2 어휘 어댑터 삽입 깊이(예: 레이어 1 대비 모든 레이어)가 시퀀스 태깅 성능에 어떤 영향을 미치는가?
• RQ3 어댑터를 통한 어휘 특징 통합 시, BERT 파라미터를 미세조정하는 것이 필수적인가, 아니면 고정된 BERT로도 충분한가?
• RQ4 하위 레이어 융합이 중국어 NER에서 스파인 경계 검출 및 스파인 유형 분류 모두를 향상시킬 수 있는가?
• RQ5 다양한 중국어 NLP 작업에 걸쳐, LEBERT는 기존 방법과 비교해 얼마나 뛰어난 내성성과 일반화 능력을 보이는가?

주요 결과

• LEBERT는 명명된 실체 인식, 어절 분리, 품사 태깅이라는 세 가지 중국어 시퀀스 태깅 작업을 위한 10개의 벤치마크 데이터셋 전반에서 최신 기술 성능(SOTA)을 달성한다.
• 첫 번째 트랜스포머 레이어 이후 어휘 어댑터를 적용할 경우 최고의 성능을 기록하였으며, Ontonotes 데이터셋에서 F1 스코어 82.08을 기록하여 더 깊은 융합 설정을 능가한다.
• 어휘 어댑터와 함께 BERT 파라미터를 미세조정하면, 고정된 BERT 대비 Ontonotes에서 F1 스코어가 7.03포인트 향상되어(75.05 → 82.08) 공동 최적화의 필요성을 입증한다.
• 모델은 'Hulunbuir League'라는 실체 유형을 GPE로 정확히 식별하지만, BERT+Word는 관련 없는 단어 'seven and eight'의 간섭으로 인해 이를 잘못 식별한다.
• 품사 태깅 예시에서 LEBERT는 'seven and eight'에 대해 'adj'를 정확히 예측하지만, BERT와 BERT+Word는 이를 'NUM'으로 잘못 분류하여 더 나은 의미 이해 능력을 보여준다.
• 추론 실험 결과, 다중 레이어 어댑터 적용이 성능을 떨어뜨리는 것으로 확인되었으며, 이는 과적합 또는 충돌하는 특징 신호의 영향일 가능성이 있다.