[논문 리뷰] Evaluating Semantic Rationality of a Sentence: A Sememe-Word-Matching Neural Network based on HowNet

Shu Liu, Jingjing Xu외 2명|arXiv (Cornell University)|2018. 09. 11.

Topic Modeling참고 문헌 19인용 수 5

한 줄 요약

이 논문은 HowNet의 세미메 지식 기반을 활용하여 단어 간 미세한 의미적 호환성을 모델링함으로써 문장의 의미적 합리성 평가를 위한 Sememe-Word-Matching 신경망(SWM-NN)을 제안한다. 새로 구축한 대규모 데이터셋에서 기준 모델 대비 정확도 5.4% 향상되어 세미메 수준의 추론을 통해 의미 위반을 개선된 방식으로 탐지함을 입증한다.

ABSTRACT

Automatic evaluation of semantic rationality is an important yet challenging task, and current automatic techniques cannot well identify whether a sentence is semantically rational. The methods based on the language model do not measure the sentence by rationality but by commonness. The methods based on the similarity with human written sentences will fail if human-written references are not available. In this paper, we propose a novel model called Sememe-Word-Matching Neural Network (SWM-NN) to tackle semantic rationality evaluation by taking advantage of sememe knowledge base HowNet. The advantage is that our model can utilize a proper combination of sememes to represent the fine-grained semantic meanings of a word within the specific contexts. We use the fine-grained semantic representation to help the model learn the semantic dependency among words. To evaluate the effectiveness of the proposed model, we build a large-scale rationality evaluation dataset. Experimental results on this dataset show that the proposed model outperforms the competitive baselines with a 5.4\% improvement in accuracy.

연구 동기 및 목표

• 인간이 작성한 참조 자료가 없을 경우에도 문장의 의미적 합리성을 자동으로 탐지하는 데 도전하는 것.
• 문장의 흔함을 우선시하는 언어 모델 기반 방법의 한계를 극복하는 것.
• 술어와 그 목적어 간 선택 제약 위반을 탐지하기 위해 미세한 의미 지식을 활용하는 방법을 개발하는 것.
• 문장의 의미적 합리성 탐지(SSRD)를 위한 대규모, 인간이 애너테이션한 데이터셋을 구축하는 것.
• 단어 수준 및 세미메 수준의 표현을 통합하여 의미적 호환성 모델링을 향상시키는 것.

제안 방법

• 모델는 단어 수준 표현을 위한 브랜치와 HowNet에서 유도된 세미메 수준 표현을 위한 브랜치로 이루어진 이중 브랜치 아키텍처를 사용한다.
• 각 단어에 대해, 단어의 맥락과 세미메 정의 간 매칭 메커니즘을 통해 맥락에 적합한 세미메를 선택한다.
• 선택된 세미메 간의 정렬과 일관성 계산을 통해 단어 간 의미적 호환성을 평가한다.
• 최종 합리성 점수는 신경망 분류기를 통해 단어 수준 및 세미메 수준 표현을 융합하여 산출된다.
• 모델는 의미적 합리성에 대해 레이블링된 새로 구축한 문장 데이터셋에서 엔드 투 엔드로 훈련된다.
• 문장 맥락에 따라 세미메의 관련성을 동적으로 가중치 부여하기 위해 소프트 어텐션 메커니즘이 사용된다.

실험 결과

연구 질문

• RQ1 인간이 작성한 참조 자료에 의존하지 않고도 신경망 모델이 문장의 의미적 합리성을 효과적으로 탐지할 수 있는가?
• RQ2 HowNet의 세미메 수준 지식이 문장의 의미적 비합리성 탐지에 얼마나 기여하는가?
• RQ3 세미메와 같은 미세한 의미 단위의 통합이 단어 수준 또는 문장 수준 표현에 비해 합리성 탐지에서 어떻게 비교되는가?
• RQ4 의미적 합리성 평가에서 인간 판단과 자동 모델 간의 성능 격차는 어느 정도인가?
• RQ5 선택 제약 오류와 같은 다양한 종류의 의미 위반에 대해 제안된 모델의 견고성은 어떠한가?

주요 결과

• 제안된 SWM-NN 모델은 새로 구축한 대규모 합리성 평가 데이터셋에서 경쟁 기준 모델 대비 정확도 5.4%p 향상되었다.
• 모델는 일반적으로 흔하지만 합리적인 문장을 비합리적인 것으로 오인하는 언어 모델 기반 방법에 비해 유의미하게 뛰어난 성능을 보였다.
• 특히 가장 도전적인 서브셋(dataset3)에서 인간 애너테이터는 모델보다 더 높은 정확도를 보였으며, 이는 복잡한 의미 제약을 모델링하는 데 향후 개선 여지가 있음을 시사한다.
• 모델의 성능는 세미메 선택의 질에 민감하게 영향을 받으며, 맥락 인식 세미메 매칭의 중요성을 강조한다.
• 제거 실험 결과, 단어 수준 및 세미메 수준 표현 모두 최종 예측에 기여하며, 특히 선택 제약 위반 탐지에 세미메 수준 특징이 매우 효과적임을 확인하였다.
• 모델는 의미 역할 오류 또는 의미 기능 불일치를 포함한 다양한 종류의 의미 오류에 대해 잘 일반화됨을 보였다.