[논문 리뷰] From Word Segmentation to POS Tagging for Vietnamese

Dat Quoc Nguyen, Thanh Vu외 3명|arXiv (Cornell University)|2017. 11. 14.

Natural Language Processing Techniques인용 수 9

한 줄 요약

이 논문은 특징 기반 모델과 신경망 모델을 모두 사용하여, 단어 분할이 제공되지 않은 베트남어 품사 태깅을 위한 파ip라인 전략과 통합 전략을 실증적으로 비교한다. 결과적으로 파이프라인 전략이 통합 전략보다 우수하며, 전통적인 특징 기반 모델(MarMoT)이 신경망보다 높은 정확도를 기록하여, 훈련 데이터가 제한된 상황에서도 뛰어난 성능을 보였다.

ABSTRACT

This paper presents an empirical comparison of two strategies for Vietnamese Part-of-Speech (POS) tagging from unsegmented text: (i) a pipeline strategy where we consider the output of a word segmenter as the input of a POS tagger, and (ii) a joint strategy where we predict a combined segmentation and POS tag for each syllable. We also make a comparison between state-of-the-art (SOTA) feature-based and neural network-based models. On the benchmark Vietnamese treebank (Nguyen et al., 2009), experimental results show that the pipeline strategy produces better scores of POS tagging from unsegmented text than the joint strategy, and the highest accuracy is obtained by using a feature-based model.

연구 동기 및 목표

• 단어 분할이 제공되지 않은 베트남어 품사 태깅에서 파이프라인 전략과 통합 전략의 효과를 평가하기 위해.
• 최신 특징 기반 모델(예: MarMoT)과 신경망 기반 모델(예: BiLSTM-CRF)을 비교하여 베트남어 품사 태깅에서의 성능을 평가하기 위해.
• 베트남어와 같은 저자원 환경에서 훈련 데이터 크기와 언어학적 특징이 모델 성능에 미치는 영향을 평가하기 위해.
• 정확도와 속도의 상호보완적 특성을 고려하여 실질적인 베트남어 NLP 시스템 구축을 위한 권장 사항을 제시하기 위해.

제안 방법

• 파이프라인 전략은 먼저 RDRsegmenter와 같은 단어 분할기로 비분할된 베트남어 텍스트를 분할한 후, 이를 바탕으로 품사 태거가 결과 단어를 태깅하는 방식이다.
• 통합 전략은 각 음절에 대해 통합된 분할과 품사 태그를 예측하며, B-N(단어의 시작, 명사) 또는 I-N(단어 내부, 명사)와 같은 레이블을 사용한다.
• 다섯 가지 모델이 평가되었으며, RDRPOSTagger, MarMoT, 그리고 문자 수준의 CNN과 LSTM 인코더를 갖춘 세 가지 BiLSTM-CRF 변종이다.
• 초기 조기 정지 기법을 사용하여 개발 세트에서 하이퍼파라미터를 튜닝하였으며, 최적의 설정은 2개의 BiLSTM 레이어와 100~250개의 LSTM 유닛에서 도출되었다.
• 단어 분할과 품사 태깅에 대해 F1 점수가 계산되었으며, 품사 태깅 정확도 평가에 있어서 골드 분할 기준이 사용되었다.
• 연구는 벤치마크용 베트남어 트리뱅크(Nguyen et al., 2009)를 사용하였으며, 훈련용 27,000개 문장과 표준 테스트 분할을 적용하였다.

실험 결과

연구 질문

• RQ1 비분할된 베트남어 텍스트에서 파이프라인 전략이 통합 전략보다 더 높은 정확도를 보일까?
• RQ2 제한된 훈련 데이터 하에서 전통적인 특징 기반 모델이 신경망 기반 모델보다 베트남어 품사 태깅에서 더 뛰어난 성능을 보일까?
• RQ3 골드 분할 대신 예측된 단어 분할을 사용할 경우, 품사 태깅 성능은 얼마나 떨어질까?
• RQ4 문자 수준의 임베딩을 사용하는 베트남어 품사 태깅에 최적화된 BiLSTM-CRF 모델의 구성은 무엇일까?
• RQ5 실제 베트남어 NLP 응용 프로그램에서 정확도와 추론 속도의 최적 균형을 이루는 모델은 무엇일까?

주요 결과

• 파이프라인 전략은 통합 전략보다 단어 분할과 품사 태깅 모두에서 유의미하게 높은 F1 점수를 기록하였으며, 평균적으로 품사 태깅 F1에서 4.2% 향상되었다.
• 골드 분할이 제공된 상황에서 MarMoT 특징 기반 모델이 95.88%의 가장 높은 품사 태깅 정확도를 기록하여, 모든 신경망 모델을 능가하였다.
• 문자 수준의 LSTM 임베딩을 사용한 BiLSTM-CRF 모델은 95.31%의 정확도를 기록했지만, 여전히 MarMoT보다 성능이 열 劣하였다. 이는 이 데이터셋에서 신경망 모델이 특징 기반 모델을 능가하지 못했음을 시사한다.
• 예측된 분할을 사용할 경우, 모든 모델에서 품사 태깅 정확도가 약 2% 감소하였으며, 파이프라인 전략이 통합 전략보다 더 강건한 것으로 나타났다.
• RDRPOSTagger는 1초당 18만 단어의 속도로 가장 빠른 모델이었으며, MarMoT는 고정밀 응용 분야에서 정확도-속도 균형을 가장 잘 만족하는 모델이었다.
• 연구 결과, 특징 기반 모델에 언어학적 특징을 통합할 경우 성능 향상이 더욱 두드러졌으며, 특히 현재 베트남어 NLP에서 데이터 부족 문제를 고려할 때 유의미한 개선이 가능하다고 판단되었다.