[논문 리뷰] Are word boundaries useful for unsupervised language learning?

Tu Anh Nguyen, Maureen de Seyssel외 4명|arXiv (Cornell University)|2022. 10. 06.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 어절 경계 정보가 음성에서의 비지도 언어 학습을 향상시키는지 조사한다. 문자, 음소, 어절, BPE 단위로 훈련된 LSTM 모델을 금본 또는 자동으로 추론된 경계가 있는지 여부에 따라 비교한다. 결과적으로 어절 경계 정보를 失하는 것은 작업에 따라 2%에서 28%까지 성능 저하를 초래하지만, 조건부로 비지도 분할(40% F-score)을 적용할 경우 문법적 및 의미적 벤치마크에서 상당한 성능 향상을 회복할 수 있다.

ABSTRACT

Word or word-fragment based Language Models (LM) are typically preferred over character-based ones in many downstream applications. This may not be surprising as words seem more linguistically relevant units than characters. Words provide at least two kinds of relevant information: boundary information and meaningful units. However, word boundary information may be absent or unreliable in the case of speech input (word boundaries are not marked explicitly in the speech stream). Here, we systematically compare LSTMs as a function of the input unit (character, phoneme, word, word part), with or without gold boundary information. We probe linguistic knowledge in the networks at the lexical, syntactic and semantic levels using three speech-adapted black box NLP psycholinguistically-inpired benchmarks (pWUGGY, pBLIMP, pSIMI). We find that the absence of boundaries costs between 2\% and 28\% in relative performance depending on the task. We show that gold boundaries can be replaced by automatically found ones obtained with an unsupervised segmentation algorithm, and that even modest segmentation performance gives a gain in performance on two of the three tasks compared to basic character/phone based models without boundary information.

연구 동기 및 목표

• 음성에서의 비지도 언어 표현 학습에 있어 어절 경계 정보의 영향을 평가하기 위해.
• 경계가 없는 문자 또는 음소 기반 모델이 어절 기반 모델보다 성능이 열 劣하는지 확인하기 위해.
• 비지도 분할을 통해 자동으로 추론된 어절 경계가 금본 경계의 부족을 보완할 수 있는지 평가하기 위해.
• 모델의 언어 지식을 평가하기 위해 음성 호환성과 심리언어학적 영감을 받은 벤치마크(pWUGGY, pBLIMP, pSIMI)를 개발하고 적용하기 위해.
• OOV 문제를 제거하기 위해 피벗 메커니즘을 도입하여 어절 기반, 서브워드, 문자/음소 기반 모델 간의 공정한 비교를 제공하기 위해.

제안 방법

• Librispeech 훈련 세트를 사용해 음소화 및 어휘 필터링을 통해 세 개의 텍스트 기반 NLP 벤치마크(pWUGGY(어휘), pBLIMP(문법), pSIMI(의미))를 음성 입력에 적합하게 변형하였다.
• Librispeech에서 사전 학습된 3층 LSTM을 사용해 문자, 음소, 어절, BPE 단위로 훈련하였으며, 금본 어절 경계 유무를 고려하였다.
• 추가로 두 가지 모델 변형을 도입: 비지도 분할 알고리즘(DP-Parse)을 통해 자동으로 탐지된 어절 경계를 사용한 모델, OOV에 대해 문자/음소 피벗을 사용한 모델.
• 입력 단위의 해상도에 관계없이 언어 지식을 독립적으로 측정하는 세 가지 블랙박스 벤치마크를 사용해 모델을 평가하였다.
• 금본 경계를 사용해 어절 토큰을 정의하였으며, 어절 모델은 40,000어휘 제한을, 피벗 모델은 20,000어휘 제한을 적용하였다.
• 개발 세트에서 초모수 튜닝 후 테스트 세트에서 결과를 보고하였으며, pSIMI의 최적 레이어 및 풀링 조합을 중심으로 분석하였다.

실험 결과

연구 질문

• RQ1 음성에서 학습된 언어 모델이 어절 경계 정보를 누락했을 경우 언어 지식이 어떻게 영향을 받는가?
• RQ2 비지도 어절 분할이 금본 어절 경계를 대체하여 언어 모델 성능 향상에 얼마나 기여할 수 있는가?
• RQ3 경계가 없는 조건에서 문자, 음소, 어절, BPE 단위가 어휘, 문법, 의미 지식을 얼마나 잘 포착하는가?
• RQ4 음성 호환성 있는 심리언어학적 벤치마크는 원시 오디오 입력에서 학습된 모델의 언어 능력을 신뢰성 있게 측정할 수 있는가?
• RQ5 어절 경계를 제거했을 때 성능 저하는 다양한 언어 작업 간에 일관된가?

주요 결과

• 어절 경계 정보가 없는 경우, 어휘 벤치마크(pWUGGY)에서 상대적 성능 저하가 2% 발생하였고, 문법 벤치마크(pBLIMP)에서는 14%, 의미 벤치마크(pSIMI)에서는 28% 감소하였다.
• 금본 어절 경계를 사용한 모델은 항상 경계가 없는 모델보다 성능이 뛰어나며, 어절 기반 모델은 pBLIMP 및 pSIMI에서 최고 점수를 기록하였다.
• 비록 어절 분할 정확도가 40%에 불과하더라도, 자동으로 추론된 경계를 적용한 모델은 경계 정보가 전혀 없는 모델보다 pBLIMP 및 pSIMI에서 성능 향상을 보였다.
• 경계가 없는 문자 기반 모델은 pWUGGY에서 가장 높은 성능를 기록하여, 어휘 수용성 검출은 더 세분화된 단위에서 유리함을 시사한다.
• 문자 서브워드를 포함한 BPE 모델(BPE word[char])는 pSIMI에서 두 번째로 높은 점수(20.42)를 기록하여, 경계가 있는 서브워드 단위가 언어 지식을 부분적으로 복원할 수 있음을 보여주었다.
• 최고 성능을 기록한 BERT 기반 모델은 RoBERTa-large로 pBLIMP에서 96.03점을 기록하여, 지도 학습 기반 사전 학습 모델과 비지도 음성 기반 모델 간의 격차를 드러냈다.