[논문 리뷰] Language Modeling with Sparse Product of Sememe Experts

Yihong Gu, Jun Yan외 6명|arXiv (Cornell University)|2018. 10. 29.

Topic Modeling참고 문헌 34인용 수 6

한 줄 요약

이 논문은 HowNet의 어휘적 의미소 지식을 희소 의미소 전문가의 곱으로 통합함으로써 신경망 언어 모델의 성능을 햖थ기하는 새로운 접근법인 의미소 주도 언어 모델링(SDLM)을 제안한다. 단어 예측을 의미소 수준의 의미 전문가를 통해 모델링함으로써 성능과 해석 가능성 모두 향상시키며, 계층적 의미소-의미-단어 생성 과정을 사용하여 중국어 언어 모델링 및 헤드라인 생성 과제에서 최고 성능을 기록한다.

ABSTRACT

Most language modeling methods rely on large-scale data to statistically learn the sequential patterns of words. In this paper, we argue that words are atomic language units but not necessarily atomic semantic units. Inspired by HowNet, we use sememes, the minimum semantic units in human languages, to represent the implicit semantics behind words for language modeling, named Sememe-Driven Language Model (SDLM). More specifically, to predict the next word, SDLM first estimates the sememe distribution gave textual context. Afterward, it regards each sememe as a distinct semantic expert, and these experts jointly identify the most probable senses and the corresponding word. In this way, SDLM enables language models to work beyond word-level manipulation to fine-grained sememe-level semantics and offers us more powerful tools to fine-tune language models and improve the interpretability as well as the robustness of language models. Experiments on language modeling and the downstream application of headline gener- ation demonstrate the significant effect of SDLM. Source code and data used in the experiments can be accessed at https:// github.com/thunlp/SDLM-pytorch.

연구 동기 및 목표

• 기존 언어 모델이 어휘를 원자 단위로 취급하고 미세한 의미적 구조를 모델링하지 못하는 한계를 해결하기 위해.
• HowNet의 의미소 주석에서 유추된 명시적 의미 지식을 통합하여 모델의 해석 가능성과 강건성을 향상시키기 위해.
• 어휘 수준의 패tern을 넘어서 의미소 수준의 의미를 중간 전문가로 활용함으로써 신경망 언어 모델을 개발하기 위해.
• 의미소 주도 모델링이 언어 모델링 및 개괄적 텍스트 생성 과제 모두에서 효과적인지 입증하기 위해.

제안 방법

• 모델은 먼저 문맥을 기반으로 의미소 분포를 추정하기 위해 문맥 인코더를 사용한다.
• 각 의미소는 별개의 의미 전문가로 간주되며, 가장 가능성 높은 단어 의미를 선택하기 위해 희소 전문가의 곱 메커니즘을 사용한다.
• 최종 단어 분포는 예측된 의미 분포를 통합하여 계산되며, 각 의미는 의미소-단어 매핑을 통해 단어와 연결된다.
• HowNet의 계층적 구조를 활용하여 의미소와 의미를 정렬함으로써 디코딩 과정에서 구조화된 의미 추론을 가능하게 한다.
• 언어 모델링 및 헤드라인 생성 목표에 대해 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 의미소 예측과 단어 생성을 통합된 해석 가능한 파이프라인으로 통합한 새로운 디코딩 전략을 도입한다.

실험 결과

연구 질문

• RQ1 HowNet의 명시적 의미 지식 통합이 중국어 텍스트 생성 과제에서 신경망 언어 모델의 성능을 향상시킬 수 있는가?
• RQ2 의미소 수준에서 언어 생성을 모델링할 경우, 어휘 수준의 모델링과 비교해 해석 가능성과 강건성이 어떻게 향상되는가?
• RQ3 의미소 전문가의 희소 곱이 단어 예측을 위해 미세한 의미적 구분을 효과적으로 포착하고 활용할 수 있는가?
• RQ4 의미소 인식 모델링이 자원이 적거나 의미가 다중인 언어 생성 상황에서 성능을 얼마나 향상시키는가?
• RQ5 HowNet의 의미소 계층적 구조가 언어 모델링에서 더 나은 일반화를 어떻게 기여하는가?

주요 결과

• SDLM는 People’s Daily 중국어 언어 모델링 데이터셋에서 모든 데이터 기반 기준 모델을 능가하는 최고 성능을 기록한다.
• LCSTS 데이터셋에서 헤드라인 생성 과제에서 뚜렷한 향상이 나타나, 더 나은 개괄적 생성 품질을 보여준다.
• 사례 연구를 통해 SDLM이 문맥에서 관련 의미소를 효과적으로 예측함을 확인하여, 그 해석 가능성과 의미 추론 능력을 검증한다.
• 의미소 지식 통합으로 인해 금융 텍스트에서 통화 단위를 구분하는 등 모호한 맥락에서 더 강건한 예측이 가능해진다.
• 희소 전문가의 곱 메커니즘은 효율적이고 정확한 의미 선택을 가능하게 하며, 각 의미소 전문가가 특정 단어 예측 하위집합에 기여한다.
• 의미소 수준의 의미 해석을 통해 희귀어나 다의어를 효과적으로 다룰 수 있어, 강력한 일반화 능력을 보여준다.