[논문 리뷰] A Systematic Study of Leveraging Subword Information for Learning Word Representations

Yi Zhu, Ivan Vulić외 1명|arXiv (Cornell University)|2019. 01. 01.

Topic Modeling참고 문헌 54인용 수 8

한 줄 요약

이 논문은 단어 분할 방법(예: BPE, Morfessor, 지도 학습)과 서브워드 조합 함수(예: 덧셈, 자기주의, 위치 임베딩)를 체계적으로 변화시켜 서브워드 정보를 통합한 단어 표현 학습을 위한 통합 프레임워크를 제안한다. 주요 발견은 최적의 설정이 언어 유형과 후행 작업에 매우 의존적이며, 일반적으로 복잡한 또는 지도 학습 기반 대안보다 비지도 분할과 단순 조합(예: 덧셈)이 더 뛰어난 성능을 보인다는 것이다.

ABSTRACT

The use of subword-level information (e.g., characters, character n-grams, morphemes) has become ubiquitous in modern word representation learning. Its importance is attested especially for morphologically rich languages which generate a large number of rare words. Despite a steadily increasing interest in such subword-informed word representations, their systematic comparative analysis across typologically diverse languages and different tasks is still missing. In this work, we deliver such a study focusing on the variation of two crucial components required for subword-level integration into word representation models: 1) segmentation of words into subword units, and 2) subword composition functions to obtain final word representations. We propose a general framework for learning subword-informed word representations that allows for easy experimentation with different segmentation and composition components, also including more advanced techniques based on position embeddings and self-attention. Using the unified framework, we run experiments over a large number of subword-informed word representation configurations (60 in total) on 3 tasks (general and rare word similarity, dependency parsing, fine-grained entity typing) for 5 languages representing 3 language types. Our main results clearly indicate that there is no "one-sizefits-all" configuration, as performance is both language- and task-dependent. We also show that configurations based on unsupervised segmentation (e.g., BPE, Morfessor) are sometimes comparable to or even outperform the ones based on supervised word segmentation.

연구 동기 및 목표

• 다양한 언어와 작업 간 서브워드 수준의 정보가 단어 표현 학습에 어떻게 기여하는지 조사하기 위해.
• 다양한 언어적 맥락과 작업 맥락에서 최고의 성능을 내는 분할 및 조합 방법을 특정하기 위해.
• 위치 임베딩과 자기주의와 같은 고급 구성 요소가 모델 성능에 미치는 영향을 평가하기 위해.
• 비지도 분할 방법이 서브워드 정보를 통합한 모델에서 지도 학습 방법과 동등하거나 이를 초월할 수 있는지 확인하기 위해.

제안 방법

• 프레임워크는 단어 분할과 서브워드 조합을 통합된 파ip라인으로 통합하여 다양한 구성 요소에 대한 실험을 유연하게 가능하게 한다.
• 분할은 비지도 방법(BPE, Morfessor) 또는 지도 학습 시스템을 통해 수행되며, 입력 단어에서 서브워드 단위를 생성한다.
• 서브워드 임베딩은 다양한 함수를 사용해 최종 단어 표현으로 조합된다: 단순 덧셈, 원소별 곱셈, 또는 자기주의 기반 메커니즘.
• 위치 임베딩을 통합하여 서브워드 위치 효과를 모델링함으로써 표현 품질을 향상시킨다.
• 형태소 태그(st)와 조합 전략(pp, mp)를 플러그인 방식으로 통합하여 그 영향을 탐색할 수 있도록 한다.
• 기본 단어 수준 표현 학습기로 스위프-그램 모델을 사용하며, 서브워드 구성 요소는 문맥 예측 목표 함수에 입력된다.

실험 결과

연구 질문

• RQ1 모든 언어와 작업에 일반화되는 단일 최적 설정의 분할 및 조합 방법이 존재하는가?
• RQ2 비지도 분할 방법(예: BPE, Morfessor)은 성능 측면에서 지도 학습 분할보다 어떻게 비교되는가?
• RQ3 위치 임베딩과 자기주의와 같은 고급 구성 요소가 다양한 작업과 언어에서 성능 향상에 얼마나 기여하는가?
• RQ4 전체 단어 표현(ww)의 포함이 희귀어에 특히 유리한가?
• RQ5 자기주의 기반 조합과 함께 형태소 태그(st)는 어떤가?
• RQ6 자기주의 기반 조합과 함께 형태소 태그(st)는 특정 설정에서만 유용한가?

주요 결과

• 비지도 분할 방법인 BPE와 Morfessor는 특히 형태소가 풍부한 언어에서 지도 학습 분할보다 성능이 유사하거나 뛰어나게 나타난다.
• 덧셈 조합 함수는 모든 작업과 언어에서 일관되게 뛰어난 성능을 보이며, 대부분의 경우 자기주의와 같은 더 복잡한 방법보다 뛰어나다.
• 위치 임베딩(pp, mp)은 실체 유형 지정과 의존성 분석 작업에서 성능 향상에 크게 기여하며, 특히 루트 위치 식별에 있어 mp가 특히 효과적이다.
• BPE와 단어 수준 표현(ww)의 조합은 복합어 및 접어쓰기 언어에서 단어 유사도 작업에서 최고의 성능을 기록한다.
• 자기주의와 형태소 태그(st)는 특정 설정, 예를 들어 접어쓰기 언어에서의 단어 유사도 작업에서만 유의미한 이점을 보이며, 일반화 가능성은 제한적이다.
• 서브워드 정보를 통합한 표현의 미세조정은 희귀어 의미를 향상시키며, 최적 설정은 CARD 희귀어 유사도 벤치마크에서 최신 기술 모델보다 유사도 점수 0.111을 뛰어넘는 성능을 기록한다.