[논문 리뷰] Lexical Sememe Prediction using Dictionary Definitions by Capturing Local Semantic Correspondence

Jiaju Du, Fanchao Qi외 2명|arXiv (Cornell University)|2020. 01. 16.

Topic Modeling참고 문헌 31인용 수 4

한 줄 요약

이 논문은 사전 정의문 내의 어휘적 의미소(sememe)와 단어 사이의 국소적 의미 대응을 포착하여 어휘적 의미소를 예측하는 새로운 모델인 Sememe Correspondence Pooling (SCorP)을 제안한다. 상호 대응 점수를 모델링하고 최대 풀링(max-pooling)을 적용함으로써 SCorP는 HowNet에서 최고 성능을 기록하며, 어휘 빈도 범위 전반에서 뛰어난 견고성과 의미소와 정의어의 효과적 정렬을 확보한다.

ABSTRACT

Sememes, defined as the minimum semantic units of human languages in linguistics, have been proven useful in many NLP tasks. Since manual construction and update of sememe knowledge bases (KBs) are costly, the task of automatic sememe prediction has been proposed to assist sememe annotation. In this paper, we explore the approach of applying dictionary definitions to predicting sememes for unannotated words. We find that sememes of each word are usually semantically matched to different words in its dictionary definition, and we name this matching relationship local semantic correspondence. Accordingly, we propose a Sememe Correspondence Pooling (SCorP) model, which is able to capture this kind of matching to predict sememes. We evaluate our model and baseline methods on a famous sememe KB HowNet and find that our model achieves state-of-the-art performance. Moreover, further quantitative analysis shows that our model can properly learn the local semantic correspondence between sememes and words in dictionary definitions, which explains the effectiveness of our model. The source codes of this paper can be obtained from https://github.com/thunlp/scorp.

연구 동기 및 목표

• 수동적 의미소 지식 기반(KB) 구축 및 갱신의 높은 비용 문제를 해결하기 위해 자동 의미소 예측을 가능하게 하는 것.
• 특히 저빈도 어휘에 대해 의미소 예측에 유용한 풍부하고 접근 가능한 자원으로 사전 정의문을 활용하는 것.
• 각 의미소가 특정 단어의 정의문 내에서 특정 단어와 대응되는 국소적 의미 대응을 발견하고 이를 활용하여 예측 정확도를 향상시키는 것.
• 의미소에 인위적인 순서를 부여하지 않으며, 이전 방법에서 발생하는 문자 수준의 모호성 문제를 완화하는 모델을 개발하는 것.

제안 방법

• SCorP는 각 의미소와 단어의 사전 정의문 내 모든 단어 사이의 의미 대응을 학습 가능한 점수 기반 메커니즘으로 모델링한다.
• 신경망 기반의 어텐션 유사 메커니즘을 통해 대응 점수를 계산하고, 각 의미소에 대해 정의문 내 단어들에 대해 최대 풀링(max-pooling)을 적용하여 가장 강한 매칭을 집계한다.
• 모델은 문자 수준의 모호성을 피하기 위해 단어 수준의 임베딩을 입력으로 사용하며, 더 나은 표현 학습을 가능하게 한다.
• 두 가지 리터래핑( retrofitting ) 기법을 도입: 정의어의 의미소를 통합하고, 대상 단어의 임베딩을 통합하여 성능 향상.
• 프레임워크는 다중 레이블 분류 모델로서 의미소 예측을 순서 기반 작업이 아닌 순서 집합으로 간주함으로써 순서 제약 조건을 피한다.
• 모델은 HowNet에서 교차 엔트로피 손실을 사용해 엔드 투 엔드로 훈련되며, 리터래핑 기법을 통해 미세조정(fine-tuning)이 가능하다.

실험 결과

연구 질문

• RQ1 저빈도 어휘에 대해 특히 유의미한 성능 향상을 이끌어내기 위해 사전 정의문을 효과적으로 활용할 수 있는가?
• RQ2 의미소와 사전 정의문 내 개별 단어 사이에 국소적 의미 대응이 존재하는가, 그리고 이를 활용하여 예측 성능을 향상시킬 수 있는가?
• RQ3 의미소와 정의어 사이의 대응을 모델링하는 방식이 순서 기반 시퀀스-투-시퀀스 또는 문자 수준 모델 대비 성능과 견고성 면에서 어떻게 비교되는가?
• RQ4 정의어의 의미소 통합 및 대상 단어 임베딩 통합을 포함한 리터래핑 기법이 모델 성능 향상에 얼마나 기여하는가?

주요 결과

• SCorP는 HowNet의 의미소 예측 벤치마크에서 기존 방법들(순서 기반 시퀀스-투-시퀀스 및 문자 수준 모델 포함)을 능가하는 최고 성능을 기록한다.
• 모델은 어휘 빈도 범위 전반에서 매우 뛰어난 견고성을 보이며, 특히 저빈도 어휘(빈도 < 50)에 대해서도 높은 성능를 유지한다. 반면 CSP는 급격한 성능 하락을 보인다.
• 정량적 분석을 통해 SCorP가 국소적 의미 대응을 효과적으로 학습하고 있음을 확인하였으며, 올바른 의미소가 관련 정의어에 대해 항상 최고의 대응 점수를 기록한다.
• 표 5의 사례 연구는 모델이 'observatory'(관측소)에 대해 'location'(위치)에 대해 'institution'(기관)와 의미적으로 매칭되는 정의어를 바탕으로 최상위 의미소를 정확히 식별함을 보여준다.
• 두 가지 리터래핑 기법이 성능 향상에 뚜렷한 기여를 하였으며, 최종 모델은 기준 모델보다 높은 F1 점수를 확보하였다.
• 어텐션 스타일의 어텐션 맵과 대응 점수 분석을 통해 모델이 의미소와 정의어 사이의 대응 관계를 효과적으로 포착하고 있음을 검증하였다.