[논문 리뷰] Detecting Intentional Lexical Ambiguity in English Puns

Elena Mikhalkova, Yuri Karyakin|arXiv (Cornell University)|2017. 07. 18.

Natural Language Processing Techniques참고 문헌 3인용 수 3

한 줄 요약

이 논문은 Roget의 동사사전을 활용하여 목표어 주변의 두 의미 성분(세메) 기반으로 의미 벡터를 추출함으로써 영어 패러독스에서 의도적인 어휘적 모호성을 감지하기 위한 지도 학습 방식을 제안한다. 이러한 벡터를 기반으로 SVM 분류기를 적용한 결과, F-측정치가 0.73에 도달하여 의미 벡터 표현과 구조적 단서가 높은 정밀도로 패러독스를 식별하는 데 효과적임을 입증한다.

ABSTRACT

The article describes a model of automatic analysis of puns, where a word is intentionally used in two meanings at the same time (the target word). We employ Roget's Thesaurus to discover two groups of words which, in a pun, form around two abstract bits of meaning (semes). They become a semantic vector, based on which an SVM classifier learns to recognize puns, reaching a score 0.73 for F-measure. We apply several rule-based methods to locate intentionally ambiguous (target) words, based on structural and semantic criteria. It appears that the structural criterion is more effective, although it possibly characterizes only the tested dataset. The results we get correlate with the results of other teams at SemEval-2017 competition (Task 7 Detection and Interpretation of English Puns) considering effects of using supervised learning models and word statistics.

연구 동기 및 목표

• 목표어가 동시에 두 의미로 의도적으로 사용되는 영어 패러독스를 자동으로 탐지하기 위해.
• Roget의 동사사전를 활용해 목표어 주변의 두 개의 별개의 의미 성분(세메)를 추출하여 의미 모호성을 모델링하기 위해.
• 패러독스에서 목표어를 식별하는 데 있어 구조적 및 의미 기준의 효과성을 평가하기 위해.
• 규칙 기반 탐지 방법과 의미 벡터를 활용한 지도 학습 간의 성능을 비교하기 위해.
• SemEval-2017 Task 7 기준과 일치하는 강력하고 데이터 기반의 패러독스 탐지 방법을 기여하기 위해.

제안 방법

• Roget의 동사사전에서 목표어의 두 의미(세메)에 해당하는 단어 두 그룹을 식별하여 의미 벡터를 구성하기 위해.
• 문장 내 문법적 위치 및 주변 맥락과 같은 구조적 기준을 활용해 목표어를 식별하기 위해.
• 단어 유사도 및 의미 군집 기반의 의미 기준을 활용해 후보 목표어를 검증하기 위해.
• 라벨이 부여된 학습 데이터를 기반으로 의미 벡터를 학습하여 패러독스와 비패러독스를 구분하는 SVM 분류기를 훈련하기 위해.
• 규칙 기반 필터링과 지도 학습 분류를 융합하여 탐지 정확도를 향상시키기 위해.
• SemEval-2017 패러독스 탐지 과제와 일치하는 테스트 세트에서 F-측정치를 사용해 모델을 평가하기 위해.

실험 결과

연구 질문

• RQ1 Roget의 동사사전에서 유도한 의미 벡터는 의도적인 어휘적 모호성에 기반한 패러독스를 얼마나 효과적으로 식별할 수 있는가?
• RQ2 패러독스에서 목표어를 식별하는 데 있어 구조적 기준과 의미 기준 중 어느 것이 더 높은 성능을 내는가?
• RQ3 규칙 기반 필터링과 지도 학습을 융합할 경우 패러독스 탐지 정확도가 얼마나 향상되는가?
• RQ4 제안된 모델은 SemEval-2017 패러독스 탐지 경쟁에서 다른 시스템과 비교해 어떻게 성과를 내는가?
• RQ5 의미 성분(세메) 기반의 의미 벡터는 패러독스의 이중 의미를 신뢰성 있게 표현할 수 있는가?

주요 결과

• SVM 분류기는 영어 패러독스에서 의도적인 어휘적 모호성을 탐지하는 데 F-측정치 0.73를 기록하였다.
• 시험 데이터셋에서 목표어 식별에 있어 구조적 기준이 의미 기준보다 더 효과적인 것으로 밝혀졌다.
• Roget의 동사사전에서 유도한 의미 벡터의 사용은 모델이 패러독스와 비패러독스를 구분하는 능력을 크게 향상시켰다.
• 결과는 SemEval-2017 Task 7 경쟁에 참가한 다른 팀의 결과와 잘 일치하여 본 방법의 강건성을 입증하였다.
• 의미 성분(세메) 기반의 의미 표현 방식이 패러독스 탐지에 실현 가능한 접근법임을 입증하였다.
• 규칙 기반 필터링과 지도 학습의 통합은 특히 목표어 식별에 있어 탐지 성능을 향상시켰다.