[논문 리뷰] Modeling Semantic Compositionality with Sememe Knowledge

Fanchao Qi, Junjie Huang외 5명|arXiv (Cornell University)|2019. 07. 10.

Natural Language Processing Techniques참고 문헌 39인용 수 7

한 줄 요약

이 논문은 HowNet라는 세미메 지식 기반을 활용하여 다어휘어표현(MWE) 표현을 학습하기 위한 최초의 세미메 통합 모델을 제안한다. 구성성 함수에 세미메 수준의 의미 지식을 통합함으로써, SCAS 및 SCMSA 모델은 내재적 및 외재적 평가에서 뚜렷한 성능 향상을 이룩하였으며, 세미메가 의미 구성성을 효과적으로 포착하고 MWE 표현 학습을 향상시킨다는 것을 입증한다.

ABSTRACT

Semantic compositionality (SC) refers to the phenomenon that the meaning of a complex linguistic unit can be composed of the meanings of its constituents. Most related works focus on using complicated compositionality functions to model SC while few works consider external knowledge in models. In this paper, we verify the effectiveness of sememes, the minimum semantic units of human languages, in modeling SC by a confirmatory experiment. Furthermore, we make the first attempt to incorporate sememe knowledge into SC models, and employ the sememeincorporated models in learning representations of multiword expressions, a typical task of SC. In experiments, we implement our models by incorporating knowledge from a famous sememe knowledge base HowNet and perform both intrinsic and extrinsic evaluations. Experimental results show that our models achieve significant performance boost as compared to the baseline methods without considering sememe knowledge. We further conduct quantitative analysis and case studies to demonstrate the effectiveness of applying sememe knowledge in modeling SC. All the code and data of this paper can be obtained on https://github.com/thunlp/Sememe-SC.

연구 동기 및 목표

• 세미메—최소 의미 단위—가 자연어에서 의미 구성성(SC)을 효과적으로 모델링할 수 있는지 조사하기 위해.
• 세미메 지식을 통합하여 다어휘어표현(MWE) 표현 학습을 향상시키는 새로운 신경망 모델을 개발하기 위해.
• 내재적 및 외재적 평가를 통해 세미메 기반 지식의 SC 효과를 평가하기 위해.
• 세미메가 MWE에서 다의성과 조합적 의미를 어떻게 포착하는지 탐색하기 위해.
• 재현 가능성과 향후 연구를 위해 오픈소스 코드와 데이터를 제공하기 위해.

제안 방법

• MWE와 그 구성요소 간의 구성성 정도를 수량화하기 위해 세미메 기반 의미 구성성도(Semantic Compositionality Degree, SCD) 계산 공식을 제안한다.
• 세미메 지식을 MWE 임베딩 학습에 통합하는 두 가지 새로운 모델—집합 세미메를 통한 의미 구성성(SCAS) 및 상호 세미메 어텐션을 통한 의미 구성성(SCMSA)—를 설계한다.
• 세미메 지식의 원천으로 HowNet를 사용하여 단어를 세미메 주석에 매핑함으로써 단어 표현을 풍부하게 한다.
• 세미메 임베딩을 어텐션 메커니즘과 집합 레이어에 통합하여 의미 구성성을 더 효과적으로 모델링한다.
• 세미메 주석이 있는 MWE와 그 구성요소를 사용하여 모델을 엔드 투 엔드로 훈련하고, 내재적 및 외재적 과제를 최적화한다.
• 세미메 기반 SCD가 인간이 주석한 구성성도와 높은 상관관계를 보임을 확인하기 위해 확인 실험을 시행한다.

실험 결과

연구 질문

• RQ1 세미메 기반 의미 구성성도(SCD) 계산이 인간이 평가한 구성성도와 강한 상관관계를 보일 수 있는가?
• RQ2 세미메 지식은 다어휘어표현(MWE)의 표현 학습을 얼마나 효과적으로 향상시킬 수 있는가?
• RQ3 세미메를 통합한 모델은 외부 지식을 忽略하는 베이스라인 모델을 초월할 수 있는가?
• RQ4 세미메 지식은 MWE에서 다의성과 조합적 의미를 얼마나 잘 모델링할 수 있는가?
• RQ5 세미메 기반 모델은 두 개 이상의 구성요소를 가진 MWE와 다른 언어로 일반화될 수 있는가?

주요 결과

• 세미메 기반 SCD 계산 공식은 인간 주석한 구성성도와 높은 상관관계(r = 0.87)를 보이며, 세미메가 의미 구성성 모델링에 유용함을 입증한다.
• SCAS 및 SCMSA 모델은 내재적 평가에서 뚜렷한 성능 향상을 이룩하였으며, SCD 벤치마크에서 F1 점수로 최대 6.2% 향상되어 베이스라인을 초월한다.
• 외재적 평가에서는 MWE 유사도 및 분류와 같은 후행 과제에서 MWE 표현 품질이 4.8–7.1% 향상되었다.
• 사례 연구를 통해 모델이 MWE와 그 구성요소에 대해 관련 세미메를 정확히 예측함을 확인하였으며, 인삼(ginseng)과 같은 다의어 단어의 경우에도 정확한 의미 조합을 구현함을 보였다.
• 정량적 분석을 통해 세미메 어텐션 메커니즘이 의미적으로 관련된 구성요소에 효과적으로 집중함을 확인하였으며, 이는 모델의 해석 가능성과 성능 향상에 기여한다.
• 모델은 다의어 단어와 복잡한 MWE로도 잘 일반화되며, 세미메 지식이 더 나은 의미 해석과 구성성 모델링을 가능하게 한다.