[논문 리뷰] Effective Subword Segmentation for Text Comprehension

Zhuosheng Zhang, Hai Zhao외 5명|arXiv (Cornell University)|2018. 11. 06.

Topic Modeling참고 문헌 62인용 수 3

한 줄 요약

이 논문은 독해 및 텍스트 추론 작업에서 희귀어나 OOV(Out-of-Vocabulary) 단어 처리에 특히 유리하게 작용하는 통합된 서브워드 보강 임베딩 프레임워크를 제안한다. 이는 비지도 분할을 통해 의미 있는 서브워드 단위를 학습함으로써 단어 표현을 향상시키며, 서브워드와 단어 임베딩을 연결 또는 곱하기를 통해 통합한다. 이는 단순한 덧셈 및 문자 수준 기반 모델보다 우수한 성능을 보인다.

ABSTRACT

Representation learning is the foundation of machine reading comprehension and inference. In state-of-the-art models, character-level representations have been broadly adopted to alleviate the problem of effectively representing rare or complex words. However, character itself is not a natural minimal linguistic unit for representation or word embedding composing due to ignoring the linguistic coherence of consecutive characters inside word. This paper presents a general subword-augmented embedding framework for learning and composing computationally-derived subword-level representations. We survey a series of unsupervised segmentation methods for subword acquisition and different subword-augmented strategies for text understanding, showing that subword-augmented embedding significantly improves our baselines in various types of text understanding tasks on both English and Chinese benchmarks.

연구 동기 및 목표

• NLP 작업에서 희귀어나 OOV 단어를 처리하는 데 있어 단어 수준 및 문자 수준 표현의 한계를 해결하기 위해.
• 문자와 전체 단어 사이의 더 나은 언어학적 일관성과 정보량을 갖춘 서브워드 단위를 단어 표현의 대안으로 탐색하기 위해.
• 사전에 정의된 언어학적 지식이나 애너테이션된 코퍼스에 의존하지 않는 통합된 비지도 서브워드 분할 프레임워크를 개발하기 위해.
• 영어 및 중국어 모두에서 기계적 독해 및 텍스트 추론을 포함한 다양한 NLP 작업에서 서브워드 보강 임베딩의 효과를 평가하기 위해.
• 하류 작업 성능을 높이기 위한 서브워드 및 단어 임베딩 간 최적의 통합 전략을 조사하기 위해.

제안 방법

• 원시 텍스트에서 서브워드 단위를 생성하기 위해 비지도 서브워드 분할 기법인 바이트 페어 인코딩(BPE) 및 빈도 기반 n-그램 추출(BPE-FRQ)을 활용한다.
• 분할된 서브워드에 대해 신경망을 적용하여 서브워드 표현을 학습하고, 연결, 곱하기, 덧셈을 통해 단어 임베딩과 통합한다.
• 모델은 일반적이고 작업에 종속되지 않은 설계를 하여, 작업 또는 언어에 특화된 수정 없이 다양한 NLP 작업에 적용 가능하다.
• 주의 메커니즘을 사용하여 관련된 서브워드 및 단어 특징에 집중하며, 시각화 결과는 입력에서 답변 관련 증거에 더 효과적으로 주의를 기울이는 것을 보여준다.
• 형태소 규칙이나 외부 언어학 자원에 의존하지 않아 저자원 언어에 적합하다.
• CMRC-2017 및 SNLI를 포함한 다섯 개의 벤치마크에서 평가하였으며, 통합 전략과 n-그램 윈도우 크기의 추론 분석도 수행하였다.

실험 결과

연구 질문

• RQ1 서브워드 보강 임베딩는 단어 수준 또는 문자 수준 기반 모델 대비 독해 및 텍스트 추론 작업에서 성능을 유의미하게 향상시키는가?
• RQ2 연결, 곱하기, 덧셈 중 어떤 서브워드 통합 전략이 하류 NLP 작업에서 가장 높은 성능을 낼 수 있는가?
• RQ3 서브워드 분할에서 n-그램 윈도우 크기의 선택은 모델 성능에 어떤 영향을 미치는가?
• RQ4 클로즈 스타일 독해에서 OOV 단어 처리에 서브워드 표현은 얼마나 향상시킬 수 있는가?
• RQ5 언어학적 자원 없이 비지도 서브워드 분할을 수행하더라도, 저자원 언어나 형태소적으로 복잡한 언어에 대해 의미 있고 효과적인 표현을 도출할 수 있는가?

주요 결과

• BPE-FRQ 분할을 사용한 서브워드 보강 임베딩 모델은 CMRC-2017 테스트 세트에서 OOV 질문 정확도를 단어 + 문자 기반 기준 2.54%에서 12.71%로 향상시켰다.
• 단어 및 서브워드 임베딩의 연결 및 곱하기가 단순한 덧셈보다 성능이 뛰어나며, 특히 상호작용과 분포 차이를 모델링하는 데 곱하기가 유의미한 이점을 보였다.
• BPE-FRQ에 최적의 n-그램 윈도우 크기는 2 또는 3였으며, 더 긴 윈도우(최대 4)는 유의미한 향상 없이 미미한 성능 향상만 보였다.
• 시각화 결과, 서브워드 보강 임베딩를 적용한 모델이 'playgrounds'에서 'play'과 'ground'와 같은 답변 관련 서브워드 단위에 더 효과적으로 주의를 기울이는 것을 확인하였다.
• 영어 및 중국어 모두에서 다섯 개의 다양한 벤치마크에서 일관된 성능 향상을 기록하여, 이 프레임워크의 일반화 능력과 多국어 효과를 입증하였다.
• 의미 있는 서브워드로 분해함으로써 'indispensability' 및 'intercontinental exchange'와 같은 희귀어 및 형태소적으로 복잡한 단어의 표현 학습 능력을 크게 향상시켰다.