[논문 리뷰] Unsupervised Word Segmentation with Bi-directional Neural Language Model

Lihao Wang, Zongyi Li외 1명|arXiv (Cornell University)|2021. 03. 02.

Natural Language Processing Techniques인용 수 8

한 줄 요약

이 논문은 모든 가능한 분할 방식에 대해 문장 생성 확률을 최대화하는 이중 방향 신경 언어 모델을 사용하여 맥락 민감한 비지도 단어 분할 모델을 제안한다. 좌에서 우로 및 우에서 좌로의 맥락 특징을 활용함으로써 단어 경계의 모호함을 해소하고, 중국어 벤치마크에서 최고 성능을 기록하며 태국어에서도 경쟁력 있는 결과를 도출한다.

ABSTRACT

We present an unsupervised word segmentation model, in which the learning objective is to maximize the generation probability of a sentence given its all possible segmentation. Such generation probability can be factorized into the likelihood of each possible segment given the context in a recursive way. In order to better capture the long- and short-term dependencies, we propose to use bi-directional neural language models to better capture the features of segment's context. Two decoding algorithms are also described to combine the context features from both directions to generate the final segmentation, which helps to reconcile word boundary ambiguities. Experimental results showed that our context-sensitive unsupervised segmentation model achieved state-of-the-art at different evaluation settings on various data sets for Chinese, and the comparable result for Thai.

연구 동기 및 목표

• 중국어나 태국어와 같은 언어에서 흔한 단어 경계의 모호성을 해결하는 데에 일방향 모델의 한계를 해결하기 위해.
• 수동으로 주석이 달린 코퍼스에 의존도를 줄이기 위해 원시 텍스트에서 학습하는 완전히 비지도 접근 방식을 개발하기 위해.
• 양방향 맥락 모델링을 통해 장기 및 단기 의존성을 통합함으로써 분할 정확도를 향상시키기 위해.
• 저자원 및 도메인 외부 설정을 포함한 다양한 도메인과 언어적 특성에서 모델의 강건성을 평가하기 위해.
• 일방향 모델보다 이중 방향 맥락 특징이 겹치거나 모호한 단어 경계를 더 잘 조율할 수 있는지 조사하기 위해.

제안 방법

• 모델는 모든 가능한 분할에 대해 문장 생성 확률을 최대화하며, 이 확률을 세그먼트 간에 재귀적으로 인수 분해한다.
• 각 후보 세그먼트에 대한 풍부한 맥락 특징을 인코딩하기 위해 좌에서 우로 및 우에서 좌로의 이중 방향 신경 언어 모델을 사용한다.
• 두 가지 디코딩 전략을 제안한다: (1) 정방향 및 역방향 세그먼트 확률의 평균을 내고, (2) 별도의 정방향 및 역방향 모델 결과를 융합한다.
• 모델는 모든 유효한 분할 가설 하에 전체 문장을 생성할 확률을 최적화하기 위해 백프로파게이션을 사용해 엔드 투 엔드로 훈련된다.
• 이중 방향 아키텍처는 미래의 맥락을 사용해 왼쪽 경계 결정을 정교화함으로써 겹치거나 모호한 세그먼트의 해소를 향상시킨다.
• 외부 특징이나 규칙 기반 히우리스틱을 사용하지 않았으며, 원시 텍스트와 학습된 맥락 표현만을 사용한다.

Figure 1: The neural network architecture. In this figure, we want to obtain the probability of possible segment “从小”. Firstly, pick out preceding context representation “我” and preceding context representation “学唱歌” from two context LSTMs. Then we used these representations as the initial hidden st

실험 결과

연구 질문

• RQ1 이중 방향 신경 언어 모델이 양방향에서 더 풍부한 맥락을 캡처함으로써 비지도 단어 분할 성능을 향상시킬 수 있는가?
• RQ2 다른 디코딩 전략(평균화 대비 융합)이 단어 경계의 모호성을 해소하는 데 어떤 영향을 미치는가?
• RQ3 맥락 민감한 비지도 모델이 중국어 단어 분할 벤치마크에서 SWAN 및 SLM과 같은 일방향 모델보다 얼마나 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 명시적인 단어 구분자가 없는 언어, 예를 들어 태국어처럼 평균 단어 길이가 긴 언어에 대해서도 제안된 모델이 일반화 가능한가?
• RQ5 기존 접근 방식에서 자주 잘못 분할되는 기능어를 효과적으로 기능어와 내용어로 분리할 수 있는가?

주요 결과

• 모델은 MSRA, ASIJ, PKU 데이터셋을 포함한 여러 중국어 단어 분할 벤치마크에서 다양한 평가 설정에서 최고 성능(SOTA)을 기록했다.
• 결합 디코딩 전략(정방향 및 역방향 모델 출력을 융합하는 방식)은 평균 전략보다 더 높은 전체 F1 점수를 달성했지만, 후자는 모호한 경우에서 더 나은 해소 성능를 보였다.
• 특히 겹치는 단어 경계 및 도메인 이동 상황을 다룰 때 기존의 비지도 모델(SWAN 및 SLM)보다 뚜렷이 뛰어난 성능을 보였다.
• 태국어에서는 평균 단어 길이가 길고 문자 종류가 적은 도전 과제가 있었음에도 불구하고, 최근의 강력한 경쟁자들과 비교해 유사한 성능을 기록했다.
• 이중 방향 맥락 덕분에 기능어의 분할이 향상되어 기존 방법에서 흔히 발생하는 인접한 내용어에 기능어를 부착하는 오류를 줄였다.
• 모델의 성능는 인간 주석 일관성의 추정 상한선(F1 ~0.848)에 매우 가까워 인간의 분할 패턴과 강한 일치를 보였다.

Figure 2: Segmentation error analysis. (a) The errors of different models caused by the combination ambiguity on MSR and PKU datasets. (b) The errors of different models caused by the overlap ambiguity.