[논문 리뷰] Sememe Prediction: Learning Semantic Knowledge from Unstructured Textual Wiki Descriptions

Wei Li, Xuancheng Ren외 4명|arXiv (Cornell University)|2018. 08. 16.

Topic Modeling참고 문헌 15인용 수 20

한 줄 요약

이 논문은 비정형 위키 기술서를 기반으로 어휘적 의미성소를 예측하기 위해 소프트 손실 함수를 사용하는 레이블 분포 시퀀스-투-시퀀스 모델인 LD-seq2seq를 제안한다. 이는 약한 순서가 있는 다중 레이블 문제로 간주되는 작업이다. 모델은 모든 기준 모델을 능가하며, 일부 테스트 세트에서는 아마추어 인간 주석자보다도 뛰어난 성능을 보이며, 텍스트 기반 위키 콘텐츠로부터 효과적인 자동 의미 지식 획득을 보여준다.

ABSTRACT

Huge numbers of new words emerge every day, leading to a great need for representing them with semantic meaning that is understandable to NLP systems. Sememes are defined as the minimum semantic units of human languages, the combination of which can represent the meaning of a word. Manual construction of sememe based knowledge bases is time-consuming and labor-intensive. Fortunately, communities are devoted to composing the descriptions of words in the wiki websites. In this paper, we explore to automatically predict lexical sememes based on the descriptions of the words in the wiki websites. We view this problem as a weakly ordered multi-label task and propose a Label Distributed seq2seq model (LD-seq2seq) with a novel soft loss function to solve the problem. In the experiments, we take a real-world sememe knowledge base HowNet and the corresponding descriptions of the words in Baidu Wiki for training and evaluation. The results show that our LD-seq2seq model not only beats all the baselines significantly on the test set, but also outperforms amateur human annotators in a random subset of the test set.

연구 동기 및 목표

• 위키 페이지의 비정형 텍스트 기술서에서 자동으로 어휘적 의미성소를 예측함으로써 확장 가능한 의미 지식 획득을 가능하게 한다.
• NLP 시스템에서 새로운 단어를 구조화된 의미 의미로 표현하는 데 도전하는 문제를 해결한다.
• 수작업으로 구성된 의미성소 기반 지식 기반의 한계를 극복한다. 이는 시간이 오래 걸리고 오래된 자료를 포함한다.
• 커뮤니티가 생성한 위키 콘텐츠를 확장 가능한 의미 지식의 원천으로 활용한다.
• 약한 레이블 순서를 모델링하고 레이블 순서 가정에 대한 민감도를 줄임으로써 NLP에서의 다중 레이블 예측을 향상시킨다.

제안 방법

• 의미성소 예측을 약한 순서가 있는 다중 레이블 작업으로 간주하는 레이블 분포 시퀀스-투-시퀀스(LD-seq2seq) 모델을 제안한다.
• 일반화된 레이블 타겟을 확률 분포로 변환함으로써 모델이 엄격한 레이블 순서에 의존하는 것을 줄이는 새로운 소프트 손실 함수를 도입한다.
• 다양한 위키 자원(예: 바이두 위키)의 기술서를 통합하여 모델의 강건성과 커버리지 향상을 위한 다중 자원 인코더를 활용한다.
• 학습 및 평가의 기준 기준으로 히우넷 의미성소 지식 기반을 사용한다.
• 위키 텍스트에서 의미성소 시퀀스를 생성하기 위해 어텐션 메커니즘을 적용한 시퀀스-투-시퀀스 학습을 적용한다.
• 의미성소 의미에 해당하는 기술서를 연결하기 위해 히우리즘 단어의 의미 정렬 단계를 구현하지만, 논문에서는 이 단계의 한계를 지적한다.

실험 결과

연구 질문

• RQ1 비정형 위키 기술서는 어휘적 의미성소를 자동으로 예측하는 데 효과적으로 활용될 수 있는가?
• RQ2 어떻게 시퀀스-투-시퀀스 모델을 의미 지식 획득에서 약한 순서가 있는 다중 레이블 예측에 적응시킬 수 있는가?
• RQ3 위키 텍스트를 기반으로 훈련된 신경망 모델이 의미성소 예측에서 인간 주석자보다 얼마나 뛰어나게 성능을 낼 수 있는가?
• RQ4 의미성소 예측에서 주로 발생하는 실패 유형은 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ5 여러 위키 자원을 통합함으로써 의미성소 예측의 강건성과 정확도는 어떻게 향상되는가?

주요 결과

• LD-seq2seq 모델은 의미성소 예측 작업에서 모든 기준 모델보다 뚜렷이 뛰어나며, 소프트 손실과 레이블 분포 접근 방식의 효과성을 입증한다.
• 모델은 테스트 세트의 무작위 선택된 부분집합에서 아마추어 인간 주석자보다 뛰어난 성능을 보이며, 강력한 일반화 능력과 강건성을 나타낸다.
• 오류 분석 결과, 20.69%의 오류는 위치나 맥락의 잘못된 정렬 때문이며, 특히 공간적 또는 신체적 위치를 강조하는 기술서에서 두드러진다.
• 다의어는 17.24%의 오류를 차지하며, 위키 기술서가 HowNet의 기준 의미성소와 다른 의미를 다룰 때 발생한다.
• 복잡하거나 긴 기술서(오류의 10.34%)는 종종 여러 의미를 포함하고 있어, 히우리즘 정렬에 의해 모델이 관련성이 낮은 부분에 집중하게 되는 경향이 있다.
• 작은 비율(3.45%)의 오류는 의미 정보가 충분히 포함되지 않은 너무 단순한 위키 기술서에서 기인하며, 이는 정확한 예측을 어렵게 한다.