[논문 리뷰] A Fast and Accurate Vietnamese Word Segmenter

Dat Quoc Nguyen, Dai Quoc Nguyen외 3명|arXiv (Cornell University)|2017. 09. 19.

Natural Language Processing Techniques참고 문헌 25인용 수 5

한 줄 요약

이 논문은 단일 분류 리플리 룰(SCRDR) 기반으로 오류를 점진적으로 수정하는 빠르고 정확한 베트남어 어절 분할기인 RDRsegmenter를 제안한다. 이는 최초의 가장 긴 매칭 기반 분할기로부터 오류를 수정하는 방식으로 작동한다. 이 논문은 기준 베트남어 트리뱅크에서 최신 기술 수준의 F1 스코어 97.90%를 달성하였으며, 정확도와 속도 면에서 이전 방법들을 모두 능가한다. 처리 속도는 1초당 62,000단어를 기록한다. 이는 오픈소스이며, 유사한 분할 과제를 겪는 다른 언어로도 적응 가능하다.

ABSTRACT

We propose a novel approach to Vietnamese word segmentation. Our approach is based on the Single Classification Ripple Down Rules methodology (Compton and Jansen, 1990), where rules are stored in an exception structure and new rules are only added to correct segmentation errors given by existing rules. Experimental results on the benchmark Vietnamese treebank show that our approach outperforms previous state-of-the-art approaches JVnSegmenter, vnTokenizer, DongDu and UETsegmenter in terms of both accuracy and performance speed. Our code is open-source and available at: https://github.com/datquocnguyen/RDRsegmenter.

연구 동기 및 목표

• 스pacings가 음절 수준에서 이루어져 어절 경계를 약하게 나타내는 베트남어 어절 분할 문제를 해결하기 위해.
• 기존 최신 기술 수준의 방법들보다 어절 분할 정확도와 처리 속도 면에서 향상시키기 위해.
• 오류 기반의 자동 규칙 학습 시스템을 개발하여, 단일 분류 리플리 룰(SCRDR) 구조를 사용해 어절 분할 실수를 점진적으로 수정하기 위해.
• 중국어나 일본어처럼 유사한 분할 과제를 겪는 언어들에도 적용 가능한 언어 독립적 프레임워크를 만들기 위해.

제안 방법

• 기본 분할기로 가장 긴 매칭 기반 분할기를 사용하여 기초 분할 결과를 생성한다.
• 오류 기반 학습 과정을 적용하여, 단일 분류 리플리 룰(SCRDR) 트리를 사용해 분할 오류를 식별하고 수정한다.
• 각 오류 분할은 SCRDR 트리에 새로운 예외 규칙을 자동으로 추가하는 방식으로 처리되며, 이는 '만약-그러면' 규칙과 두 가지 유형의 간선인 '예외'와 '만약-아니면'으로 구성된다.
• 규칙는 상향식으로 평가되며, 최종 결정은 잎 노드에 도달하는 경로에서 마지막으로 만족된 규칙에 의해 결정된다.
• 임계값 기반 규칙 정제 메커니즘이 사용되며, 개발 세트 튜닝을 통해 최적의 임계값 2가 도출되었다.
• 최종 모델은 75,000개 문장으로 훈련되었으며, 1,447개의 규칙을 생성하여 높은 효율성과 정확도를 달성하였다.

실험 결과

연구 질문

• RQ1 SCRDR를 사용한 오류 기반 규칙 기반 시스템이 기존 최신 기술 수준의 접근 방식보다 베트남어 어절 분할에서 더 높은 정확도를 달성할 수 있는가?
• RQ2 기본 모델과 비교해, SCRDR 기반 방법의 성능은 훈련 세트 크기가 변화함에 따라 어떻게 변화하는가?
• RQ3 특히 CRF, SVM 및 포인트와이즈 예측 모델과 비교해, 정확도를 향상시키면서도 고속을 유지할 수 있는가?
• RQ4 SCRDR 기반 접근 방식은 얼마나 언어 독립적이며, 음절이나 문자 기반의 어절 경계 탐지가 필요한 중국어나 일본어와 같은 다른 언어로도 이식 가능할 수 있는가?

주요 결과

• RDRsegmenter는 기준 베트남어 트리뱅크에서 F1 스코어 97.90%를 기록하여, 이전의 모든 최신 기술 수준의 방법들을 능가한다.
• 동일한 어휘를 사용함에도 불구하고 vnTokenizer보다 F1 스코어에서 0.57%p 높게 나타내어, 오류 기반 규칙 학습의 효과성을 입증한다.
• UETsegmenter보다 1.3배 더 빠르며, 싱글 스레드 기반 인텔 코어 i7 2.2GHz 시스템에서 1초당 62,000단어를 처리한다.
• RDRsegmenter는 작은 훈련 데이터에서도 뛰어난 성능을 보이며, 9,500개의 훈련 문장에서도 UETsegmenter보다 항상 높은 F1 스코어를 유지한다.
• 모델 로딩 시간은 단 50밀리초로, UETsegmenter의 10초 대비 크게 빠르며, 이는 구현 시 효율성 면에서 뛰어남을 시사한다.
• 이 방법은 일반화 가능하며, 음절이나 문자 기반의 어절 경계 탐지가 필요한 중국어나 일본어와 같은 다른 언어로도 적용 가능하다.