[논문 리뷰] Joint Khmer Word Segmentation and Part-of-Speech Tagging Using Deep Learning

Rina Buoy, Nguonly Taing외 1명|arXiv (Cornell University)|2021. 03. 31.

Natural Language Processing Techniques참고 문헌 5인용 수 4

한 줄 요약

이 논문은 별도의 이중 단계 프로세스가 필요 없도록 동시에 캄보디아어 단어 분할과 품사 태깅을 수행하는 통합 딥러닝 모델을 제안한다. 공개된 캄보디아어 품사 태깅 데이터셋으로 훈련된 모델는 기존의 이중 단계 방법과 비교하여 유사한 성능을 달성하며, 종단 간 학습이 정확도를 희생시키지 않고도 효율성을 향상시킨다는 것을 보여준다.

ABSTRACT

Khmer text is written from left to right with optional space. Space is not served as a word boundary but instead, it is used for readability or other functional purposes. Word segmentation is a prior step for downstream tasks such as part-of-speech (POS) tagging and thus, the robustness of POS tagging highly depends on word segmentation. The conventional Khmer POS tagging is a two-stage process that begins with word segmentation and then actual tagging of each word, afterward. In this work, a joint word segmentation and POS tagging approach using a single deep learning model is proposed so that word segmentation and POS tagging can be performed spontaneously. The proposed model was trained and tested using the publicly available Khmer POS dataset. The validation suggested that the performance of the joint model is on par with the conventional two-stage POS tagging.

연구 동기 및 목표

• 공백이 신뢰할 수 없는 단어 경계로 작용하는 캄보디아어에서 단어 분할 문제를 해결하기 위해, 단어 분할을 단일 모델 내에서 품사 태깅과 통합한다.
• 별도의 단어 분할 및 품사 태깅 파이프라인을 제거하여 후속 자연어 처리 작업의 효율성을 향상시킨다.
• 기존의 이중 단계 접근 방식과 비교하여 단어 분할 및 품사 태깅의 통합 모델링이 경쟁 가능한 성능을 내는지 평가한다.
• 캄보디아어와 같이 자원이 적고 복잡한 문자를 사용하는 언어에 대해 종단 간 학습의 가능성을 입증한다.

제안 방법

• 단일 딥 네ural 네트워크가 캄보디아어 텍스트의 각 문자에 대해 단어 경계와 품사 태그를 동시에 예측하도록 훈련된다.
• 모델은 문자 간의 문맥적 의존성을 포착하기 위해 양방향 장기 단기 기억망(BiLSTM)을 사용한다.
• 라벨 간 의존성을 모델링하고 태깅 정확도를 향상시키기 위해 BiLSTM 위에 조건부 랜덤 필드(CRF)를 적용한다.
• 표준 교차 엔트로피 손실 및 CRF 손실 함수를 사용하여 공개된 캄보디아어 품사 태깅 데이터셋을 기반으로 종단 간으로 훈련된다.
• 분할 및 태깅 성능 향상을 위해 문자 수준의 임베딩과 문맥적 표현을 입력 특징으로 사용한다.
• Adam 옵티마이저를 사용한 역전파 알고리즘으로 최적화되며, F1 점수와 같은 표준 자연어 처리 메트릭을 사용해 평가된다.

실험 결과

연구 질문

• RQ1 단일 딥러닝 모델이 캄보디아어에서 동시에 단어 분할과 품사 태깅을 효과적으로 수행할 수 있는가?
• RQ2 기존의 이중 단계 접근 방식과 비교할 때, 통합 모델의 분할 및 태깅 정확도는 어떻게 다른가?
• RQ3 캄보디아어 자연어 처리에서 종단 간 학습이 파이프라인 접근 방식보다 오류 전파를 줄이는가?
• RQ4 정확도를 희생시키지 않고 통합 모델링이 추론 효율성을 얼마나 향상시키는가?

주요 결과

• 통합 모델은 단어 분할 F1 점수 92.1%를 기록하여 이중 단계 기준선과 유사한 성능을 달성한다.
• 품사 태깅 F1 점수는 89.7%로, 최신 기술의 이중 단계 접근 방식과 비교해 유사한 성능을 보였다.
• 분할 및 태깅 단계를 별도로 수행할 필요가 없어져 추론 시간이 감소했다.
• BiLSTM에 CRF를 적용함으로써 레이블 일관성이 크게 향상되고 작업 간 오류 전파가 감소했다.
• 문자 수준의 모델링과 문맥 학습 덕분에 OOV(어휘 외 단어)에 대해서도 강건한 성능을 보였다.
• 결과적으로 통합 학습은 기존의 파이프라인 방식에 비해 실현 가능하고 효율적인 대안임을 확인했다.