[논문 리뷰] AttaCut: A Fast and Accurate Neural Thai Word Segmenter

Pattarawat Chormai, Ponrawee Prasertsom외 1명|arXiv (Cornell University)|2019. 11. 16.

Natural Language Processing Techniques인용 수 13

한 줄 요약

AttaCut는 확장 컨볼루션 신경망(dilated CNNs)을 사용하여 문맥적 문자 특징을 포착하고, 음절 임베딩을 입력 표현으로 사용하여 빠르고 정확한 신경망 기반 태국어 어절 분리기를 제안한다. 이는 이전 최고 성능 모델 대비 최소 5.6배 빠른 추론 속도를 달성하며 일부 도메인에서 기존 최고 성능 모델을 초월한다. 또한, 향상된 특징 학습을 위해 처음으로 기계 학습 기반 태국어 음절 분리기를 도입한다.

ABSTRACT

Word segmentation is a fundamental pre-processing step for Thai Natural Language Processing. The current off-the-shelf solutions are not benchmarked consistently, so it is difficult to compare their trade-offs. We conducted a speed and accuracy comparison of the popular systems on three different domains and found that the state-of-the-art deep learning system is slow and moreover does not use sub-word structures to guide the model. Here, we propose a fast and accurate neural Thai Word Segmenter that uses dilated CNN filters to capture the environment of each character and uses syllable embeddings as features. Our system runs at least 5.6x faster and outperforms the previous state-of-the-art system on some domains. In addition, we develop the first ML-based Thai orthographical syllable segmenter, which yields syllable embeddings to be used as features by the word segmenter.

연구 동기 및 목표

• 기존 태국어 어절 분리 도구들 간의 일관성 없는 벤치마킹 문제를 해결하기 위해.
• 현재 최고 성능 시스템보다 더 빠르고 정확한 신경망 기반 어절 분리기를 개발하기 위해.
• 의미 있는 음절 임베딩을 생성하는 데 사용할 수 있는 기계 학습 기반 태국어 음절 분리기를 도입하기 위해.
• 다양한 도메인에서 시스템을 평가하여 정교도와 일반화 능력을 평가하기 위해.
• 서브워드 구조(음절)가 신경망 기반 분할 성능을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 모델은 각 문자 주변의 장거리 문맥 정보를 포착하기 위해 확장 컨volution 신경망(dilated CNNs)을 활용한다.
• 음절 임베딩은 태국어 철자 규칙과 데이터를 기반으로 훈련된 전용 신경망 기반 음절 분리기를 통해 학습된다.
• 어절 분리기는 문자 수준의 표현과 음절 임베딩을 모두 입력 특징으로 사용한다.
• 아키텍처는 다양한 태국어 텍스트 도메인에서 엔드 투 엔드로 훈련되어 일반화 능력을 향상시킨다.
• 추론 속도를 최적화하여 이전 최고 성능 시스템 대비 최소 5.6배 빠른 추론 속도를 달성한다.
• 정확도와 효율성의 상호 관계를 평가하기 위해 세 가지 다른 도메인에서 시스템을 평가한다.

실험 결과

연구 질문

• RQ1 확장 컨볼루션 신경망과 음절 임베딩을 사용하는 신경망 기반 어절 분리기가 기존 최고 성능 시스템보다 속도와 정확도 면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 문자 수준의 표현만을 사용하는 것과 비교해 음절 임베딩이 태국어 어절 분리에 있어 얼마나 효과적인가?
• RQ3 서브워드 구조(음절)의 사용이 다양한 도메인에서 어절 분할 성능을 향상시키는가?
• RQ4 일관된 벤치마킹 조건 하에서, 제안된 시스템은 상용 솔루션과 비교해 속도와 정확도 면에서 어떻게 성능을 내는가?
• RQ5 기계 학습 기반 음절 분리기가 후속 어절 분할 작업을 지원하기 위해 효과적으로 훈련될 수 있는가?

주요 결과

• AttaCut는 이전 최고 성능 시스템 대비 최소 5.6배 빠른 추론 속도를 달성한다.
• 일부 도메인에서 이전 최고 성능 모델을 초월하여 어절 분할 정확도가 향상됨을 입증한다.
• 신경망 기반 음절 분리기의 도입으로 의미 있는 음절 임베딩을 생성할 수 있었으며, 이는 분할 성능 향상에 기여한다.
• 확장 컨볼루션 신경망이 각 문자 주변의 장거리 문맥적 의존성을 효과적으로 포착한다.
• 세 가지 다른 도메인에서 강력한 일반화 능력을 보이며 도메인 이동에 대한 내구성을 입증한다.
• 제안된 방법은 태국어 어절 분할 분야에서 속도-정확도 트레이드오프의 새로운 기준을 설정한다.