[논문 리뷰] Building a Word Segmenter for Sanskrit Overnight

Vikas Reddy, Amrith Krishna외 4명|arXiv (Cornell University)|2018. 02. 08.

Natural Language Processing Techniques참고 문헌 17인용 수 5

한 줄 요약

이 논문은 언어학적 전처리 없이 샌드히드(융합된) 텍스트를 직접 분할 형태로 매핑하는 지식 최소화형, 엔드 투 엔드 시퀀스 투 시퀀스(seq2seq) 딥러닝 모델을 제안한다. 병렬로 제공된 샌드히드/비샌드히드 문장 쌍으로 훈련된 모델은 기존 최고 성능 기준 대비 16.79% 향상된 성능을 기록했으며, 다양한 문장 길이에서 정밀도와 재현율 모두에서 기존 시스템을 능가한다. 이는 단일 GPU에서 12시간 이내에 훈련이 가능하다.

ABSTRACT

There is abundance of digitised texts available in Sanskrit. However, the word segmentation task in such texts are challenging due to the issue of Sandhi. In Sandhi, words in a sentence often fuse together to form a single chunk of text, where the word delimiter vanishes and sounds at the word boundaries undergo transformations, which is also reflected in the written text. Here, we propose an approach that uses a deep sequence to sequence (seq2seq) model that takes only the sandhied string as the input and predicts the unsandhied string. The state of the art models are linguistically involved and have external dependencies for the lexical and morphological analysis of the input. Our model can be trained “overnight” and be used for production. In spite of the knowledge lean approach, our system preforms better than the current state of the art by 16.79 %.

연구 동기 및 목표

• 샌드히드로 인해 어말 경계가 융합되고 음운 변화가 발생하는 상스크트어에서 어절 분할 문제를 해결하기 위해.
• 복잡한 언어학적 전처리 및 외부 어휘 자원을 필요로 하지 않는 확장성 있고 자원이 제한된 해결책을 개발하기 위해.
• 생산 환경에 적합한 빠른 자동 훈련 및 추론을 가능하게 하기 위해.
• 데이터 중심의 엔드 투 엔드 딥러닝 접근법을 활용해 기존 최고 성능 시스템을 능가하기 위해.
• 지식 최소화 모델이 언어학적으로 정보화된 시스템을 능가할 수 있음을 보여주기 위해.

제안 방법

• 양방향 LSTM 인코더와 어텐션 메커니즘을 갖춘 시퀀스 투 시퀀스(seq2seq) 모델을 사용하여 샌드히드 입력 시퀀스를 비샌드히드 출력 시퀀스로 매핑한다.
• 모델은 샌드히드 및 분할된 상스크트어 텍스트의 병렬 단일 언어 문장 쌍으로 훈련되며, 올바른 분할의 조건부 확률을 최대화한다.
• 문장 조각(SequencePiece)을 사용해 훈련 데이터에서 새로운 최적화된 어휘를 비지도 방식으로 학습시켜 모델의 일반화 능력을 향상시킨다.
• 디코더는 사전에 정의된 어말 경계나 형태소 태그에 의존하지 않고 학습된 어휘에서 출력 토큰을 생성한다.
• 12GB 메모리의 Titan X GPU에서 훈련을 수행하여 최고 성능을 보이는 모델이 12시간 이내에 수렴한다.
• 입력과 출력 시퀀스 간의 정렬을 향상시키기 위해 어텐션 기반의 인코더-디코더 아키텍처를 사용하며, 특히 긴 문장에서 유의미하다.

실험 결과

연구 질문

• RQ1 순수하게 데이터 중심의 엔드 투 엔드 딥러닝 모델이 상스크트어 어절 분할에서 언어학적으로 정보화된 시스템을 능가할 수 있는가?
• RQ2 지식 최소화 접근법이 상스크트어와 같이 자원이 제한되고 형태소가 풍부한 언어에서 얼마나 높은 성능을 달성할 수 있는가?
• RQ3 어텐션 메커니즘이 긴 또는 복잡한 샌드히드 문자열에서 분할 정확도를 어떻게 향상시키는가?
• RQ4 외부 언어학적 자원 없이 12시간 이내에 훈련된 모델이 최고 성능을 달성할 수 있는가?
• RQ5 오직 원시 텍스트 쌍으로만 훈련된 시스템이 다양한 길이와 복잡도의 문장에 대해 잘 일반화되는가?

주요 결과

• 어텐션 기반의 제안된 seq2seq 모델(attnSegSeq2Seq)은 현재 최고 성능 기준 대비 어절 분할 성능에서 16.79% 상대적 향상을 기록했다.
• 특히 어절 수가 6개 이하인 문장에서 정밀도와 재현율 모두에서 기존 시스템을 능가한다.
• 최고 성능 모델은 Titan X GPU(12GB 메모리)에서 80 에포크 동안 11시간 40분 만에 훈련을 완료했다.
• 어휘 빈도 및 어절 수에 따라 분류된 테스트 세트에서 일관된 성능을 기록하여 문장 길이에 걸쳐 안정적인 성능을 보였다.
• 형태소나 어휘 자원에 접근할 수 없음에도 불구하고 모델의 성능은 안정적이고 일반화 가능성이 높았다.
• 지식 최소화형 데이터 중심 접근법이 광범위한 언어학적 전처리 및 외부 종속성을 요구하는 시스템을 능가할 수 있음을 입증했다.