[논문 리뷰] A Masked Segmental Language Model for Unsupervised Natural Language Segmentation

C. M. Downey, Fei Xia외 2명|arXiv (Cornell University)|2021. 04. 16.

Natural Language Processing Techniques인용 수 6

한 줄 요약

이 논문은 비재귀적 트랜스포머 기반 아키텍처인 마스크된 세그먼탈 언어 모델(MSLM)을 제안한다. 이 모델은 스파니 masking와 양방향 어텐션을 사용하여 비지도 자연어 세그먼테이션을 수행한다. MSLM은 중국어 세그먼테이션 품질에서 재귀적 SLM보다 뛰어나며, 영어에서도 경쟁적인 성능을 기록한다. 이는 트랜스포머 기반 모델링이 세그먼탈 작업에 효과적이며, 특히 중국어처럼 큰 의미적 문자 집합을 가진 언어에서 특히 그렇다는 것을 보여준다.

ABSTRACT

Segmentation remains an important preprocessing step both in languages where "words" or other important syntactic/semantic units (like morphemes) are not clearly delineated by white space, as well as when dealing with continuous speech data, where there is often no meaningful pause between words. Near-perfect supervised methods have been developed for use in resource-rich languages such as Chinese, but many of the world's languages are both morphologically complex, and have no large dataset of "gold" segmentations into meaningful units. To solve this problem, we propose a new type of Segmental Language Model (Sun and Deng, 2018; Kawakami et al., 2019; Wang et al., 2021) for use in both unsupervised and lightly supervised segmentation tasks. We introduce a Masked Segmental Language Model (MSLM) built on a span-masking transformer architecture, harnessing the power of a bi-directional masked modeling context and attention. In a series of experiments, our model consistently outperforms Recurrent SLMs on Chinese (PKU Corpus) in segmentation quality, and performs similarly to the Recurrent model on English (PTB). We conclude by discussing the different challenges posed in segmenting phonemic-type writing systems.

연구 동기 및 목표

• 단어 경계가 명확하지 않은 언어, 예를 들어 중국어나 형태적 복잡한 언어에서의 비지도 세그먼테이션 문제를 해결하기 위해.
• 양방향 컨텍스트와 스팬 마스킹을 활용한 비재귀적 트랜스포머 기반 아키텍처를 개발하여 세그먼테이션 및 언어 모델링 성능을 향상시키기 위해.
• MSLM을 중국어 및 영어 데이터셋에서 평가하여, 비지도 및 경량 지도 설정에서 재귀적 SLM 기준 모델과의 성능을 비교하기 위해.
• 트랜스포머가 음소적 글자 체계에서 어떻게 작동하는지에 대한 제한점을 탐색하고, 위치 인코딩 개선이 성능 격차를 메울 수 있는지 평가하기 위해.
• MSLM을 음성 세그먼테이션, 다양한 글자 체계, 깊이 있는 아키텍처 스케일링으로 확장하기 위한 기반을 마련하기 위해.

제안 방법

• MSLM은 문자 수준의 입력에 스팬 마스킹 메커니즘을 적용하며, 무작위로 선택된 문자 스팬을 마스킹하고, 양방향 자기어텐션을 사용해 원래 스팬을 예측한다.
• 학습된 위치 임베딩을 사용하는 트랜스포머 인코더 아키텍처를 기반으로 하며, 문자 수준의 모델링에서 위치 인코딩의 강건성을 향상시키기 위해 동적 스케일링을 적용한다.
• 자기회귀적 디코딩 중 높은 확률의 세그먼트 경계를 식별함으로써 세그먼테이션을 추론한다.
• 예측된 스팬에 대해 손실을 계산함으로써 문자 시퀀스에서 마스킹된 언어 모델링 목적을 사용해 모델을 훈련시킨다.
• 금본 세그먼테이션 데이터를 피니튜닝 중에 통합함으로써 비지도 및 경량 지도 훈련을 모두 지원한다.
• n-그램 어휘 제약 및 기대 세그먼트 길이 정규화와 같은 정규화 기법을 평가했지만, 초도 테스트에서 보편적인 MSLM 대비 성능 향상은 관찰되지 않았다.

실험 결과

연구 질문

• RQ1 비재귀적 트랜스포머 기반 아키텍처가 비지도 세그먼테이션 작업에서 재귀적 SLM보다 뛰어나게 성능을 낼 수 있는가?
• RQ2 MSLM의 양방향 컨텍스트는 단방향 재귀 모델 대비 세그먼테이션 품질과 언어 모델링 성능에 어떤 영향을 미치는가?
• RQ3 왜 MSLM은 영어보다 중국어에서 더 잘 작동하는가? 그리고 문체적 구조(예: 의미적 vs. 음소적 글쓰기)는 어떤 역할을 하는가?
• RQ4 MSLM은 복잡한 형태적 언어나 음성 데이터에 효과적으로 적용될 수 있는가? 문자 수준 모델링에서의 강력한 성능를 고려할 때 그렇다.
• RQ5 n-그램 어휘나 길이 제약과 같은 정규화 기법은 MSLM의 세그먼테이션 품질을 향상시키는가, 아니면 일반화를 저해하는가?

주요 결과

• 금본 검증 데이터로 피니튜닝한 경우, MSLM은 중국어 세그먼테이션 품질에서 재귀적 SLM 기준 모델을 크게 앞서며, 비지도 설정에서는 중간 정도의 우월성을 보였다.
• 영어 Penn Treebank에서 MSLM은 재귀적 SLM과 비교해 유사한 세그먼테이션 품질을 기록했으며, 언어 모델링 성능에서는 재귀 모델이 약간의 우위를 점했다.
• MSLM은 중국어에서 재귀적 SLM보다 더 낮은 bpc(비트 매 단어)를 기록하여 장거리 의존성을 더 잘 포착하고 있음을 시사한다.
• 영어에서 MSLM과 재귀적 SLM 간의 성능 격차는 음소적 체계에서 정적 위치 인코딩의 한계 때문이며, 이는 단어 순서와 문자 컨텍스트에 매우 민감하기 때문이다.
• 이전 연구에서 제안된 정규화 기법을 테스트했지만, 보편적인 MSLM 대비 성능 향상은 관찰되지 않았다. 이는 이러한 방법이 효과적이기 위해서는 추가적인 하이퍼파라미터 튜닝이 필요할 수 있음을 시사한다.
• 결과는 MSLM이 중국어처럼 큰 의미적 문자 집합을 가진 언어에 특히 적합하며, 위치 인코딩 문제를 해결한다면 음소적 체계에서도 재귀 모델과 경쟁할 수 있는 강력한 후보가 될 수 있음을 시사한다.