[논문 리뷰] The Uncertainty-based Retrieval Framework for Ancient Chinese CWS and POS

Pengyu Wang, Zhichen Ren|arXiv (Cornell University)|2023. 10. 12.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 고대 중국어 형태소 분석(CWS) 및 품사 태깅(POS)을 위한 불확실성 기반 검색 프레임워크를 제안하며, 국소적 의미 구조를 포착하기 위해 이원형 특징을 BERT에 통합하고, 불확실한 구간을 외부 지식을 사용해 재예측한다. 이 방법은 BERT-CRF와 Jiayan을 초월하여, 좌첨 데이터셋에서 CWS의 경우 96.28% F1, POS의 경우 92.41% F1을 달성한다.

ABSTRACT

Automatic analysis for modern Chinese has greatly improved the accuracy of text mining in related fields, but the study of ancient Chinese is still relatively rare. Ancient text division and lexical annotation are important parts of classical literature comprehension, and previous studies have tried to construct auxiliary dictionary and other fused knowledge to improve the performance. In this paper, we propose a framework for ancient Chinese Word Segmentation and Part-of-Speech Tagging that makes a twofold effort: on the one hand, we try to capture the wordhood semantics; on the other hand, we re-predict the uncertain samples of baseline model by introducing external knowledge. The performance of our architecture outperforms pre-trained BERT with CRF and existing tools such as Jiayan.

연구 동기 및 목표

• 희소한 문체와 풍부한 어휘 의미로 인해 어려운 저자원 고대 중국어 텍스트 처리 문제를 해결하기 위해.
• 크고 수동으로 정제된 어휘집에 의존하지 않고 국소적 어형 의미를 포착함으로써 CWS 및 POS 태깅 성능을 향상시키기 위해.
• MC-dropout를 통해 예측 불확실성을 추정하고 불확실한 문자를 식별하여 외부 지식을 활용해 재처리함으로써 예측의 모호성을 줄이기 위해.
• 정신적 강화와 지식 융합을 결합한 이중 단계 프레임워크를 개발하여 모델의 강건성과 정확도를 향상시키기 위해.

제안 방법

• 이웃한 문자의 은닉 표현을 연결하여 BERT에 이원형 특징을 통합함으로써 국소적 어형 의미를 포착한다.
• BERT의 토큰 표현과 이원형 특징을 복합 벡터로 통합하기 위해 선형 융합 레이어를 적용한다.
• MC-dropout을 사용해 예측 불확실성을 추정하고 불확실한 문자를 식별하여 재처리 대상으로 선정한다.
• 보조 지식을 검색하고, [SEP] 토큰을 사용해 외부 정보를 통합한 지식 강화 입력 시퀀스를 구성한다.
• 결합된 입력과 일시적인 레이블을 기반으로 불확실 토큰을 마스킹하여 지식 융합 BERT(KF-BERT) 모델을 훈련시킨다.
• 융합된 출력에 대해 Viterbi 디코딩을 수행하여 최종 예측을 수행하며, 다수의 불확실한 구간이 존재할 경우 결과를 평균화한다.

실험 결과

연구 질문

• RQ1 큰 어휘집에 의존하지 않고도 이원형 특징이 고대 중국어에서 국소적 어형 의미를 효과적으로 포착할 수 있는가?
• RQ2 MC-dropout를 통한 불확실성 샘플링이 고대 중국어 텍스트에서 모호한 세그먼트를 개선하는 데 기여하는가?
• RQ3 지식 검색 및 융합이 저자원 고대 중국어 환경에서 CWS 및 POS 태깅 성능을 크게 향상시킬 수 있는가?
• RQ4 제안된 이중 단계 프레임워크는 표준 고대 중국어 벤치마크에서 BERT-CRF 및 Jiayan과 같은 강력한 기준 모델에 비해 어떻게 비교되는가?

주요 결과

• 제안된 프레임워크는 좌첨 데이터셋에서 CWS-F1 96.284%, POS-F1 92.410%를 달성하여, Siku-RoBERTa + CRF(96.073% 및 91.998%)와 Jiayan(각각 CWS 82.022%, POS 83.141%)을 모두 초월한다.
• 이원형 특징을 통합한 정신적 강화 BERT(SE-BERT)는 표준 BERT-Bigram보다 성능 향상을 보이며, 학습된 이원형 특징이 사전 학습된 특징보다 더 효과적임을 시사한다.
• 지식 융합 단계가 성능 향상에 크게 기여하며, SE-BERT + KF-BERT는 CWS 및 POS 작업 모두에서 최고의 F1 점수를 기록한다.
• 제거 실험을 통해 정신적 강화와 지식 융합이 최종 성능 향상에 독립적이고 상호 보완적인 기여를 한다는 것이 확인되었다.