[논문 리뷰] Sarcasm SIGN: Interpreting Sarcasm with Sentiment Based Monolingual Machine Translation

Lotem Peled, Roi Reichart|arXiv (Cornell University)|2017. 04. 22.

Natural Language Processing Techniques참고 문헌 16인용 수 9

한 줄 요약

이 논문은 비판적 의미를 가진 트윗을 해석하기 위해 감성어를 그들의 의미 군집으로 대체하고, 이후 이를 적절한 비모욕적 대체어로 분리하는 새로운 단일언어 기계번역 방법인 Sarcasm SIGN을 소개한다. 자동 평가 지표 점수와 유사한 수준이지만 인간 평가에서 적합성과 감성 극성에서 베이스라인 MT 시스템을 능가함으로써, 비판적 의미의 진정한 감성을 포착하는 데 효과적임을 입증한다.

ABSTRACT

Sarcasm is a form of speech in which speakers say the opposite of what they truly mean in order to convey a strong sentiment. In other words, "Sarcasm is the giant chasm between what I say, and the person who doesn't get it.". In this paper we present the novel task of sarcasm interpretation, defined as the generation of a non-sarcastic utterance conveying the same message as the original sarcastic one. We introduce a novel dataset of 3000 sarcastic tweets, each interpreted by five human judges. Addressing the task as monolingual machine translation (MT), we experiment with MT algorithms and evaluation measures. We then present SIGN: an MT based sarcasm interpretation algorithm that targets sentiment words, a defining element of textual sarcasm. We show that while the scores of n-gram based automatic measures are similar for all interpretation models, SIGN's interpretations are scored higher by humans for adequacy and sentiment polarity. We conclude with a discussion on future research directions for our new task.

연구 동기 및 목표

• 비판적 발언을 해석하는 데 도전하는 문제를 해결하기 위해 원래의 감성을 유지하는 비비판적 다원화 표현을 생성하는 것.
• 비판적인 표현과 같은 의미를 담고 있는 비비판적 표현을 생성하는 새로운 작업인 '비판적 의미 해석'을 정의하는 것.
• 3000개의 비판적 트윗으로 구성된 대규모 병렬 데이터셋을 구축하며, 각 트윗에 대해 인간이 약속한 비비판적 해석 5개를 포함하는 것.
• 기계번역 기반 모델의 비판적 의미 해석 성능을 평가하며, 유창성, 적합성, 감성 극성에 중점을 두는 것.
• 감성 인식 기반 MT 시스템인 SIGN을 설계하고 검증하여 군집 기반 감성어 교체를 통해 해석 품질을 향상시키는 것.

제안 방법

• 비판적 의미 해석을 단일언어 기계번역 문제로 프레임워크화하며, 3000개의 비판적 트윗과 각각 5개의 비비판적 해석으로 구성된 병렬 코퍼스를 사용하는 것.
• 감성어는 SentiWordNet을 사용해 식별되며, 훈련 데이터에서 명확히 양성 및 음성 감성어(임계값 0.6)를 추출하는 것.
• 양성 및 음성 감성어는 L2 거리 기반 k-means를 사용해 군집화되며, 약 10개의 단어를 포함하는 군집(양성 7개, 음성 16개 군집)을 목표로 하는 것.
• 입력 비판적 트윗과 기준 해석은 감성어를 그들의 군집 식별자(예: 'love' → 'cluster-i')로 대체함으로써 사전 처리되는 것.
• 프레이즈 기반 기계번역 시스템(Moses)은 군집 변환된 병렬 데이터를 기반으로 비판적 표현과 비비판적 표현 간의 매핑을 학습하는 것.
• 테스트 시점에 MT 출력은 세 가지 전략을 사용해 군집을 해제함: 중심점 기반 선택, 맥락 인식 PMI 기반 선택, 오라클 인간 선택.

실험 결과

연구 질문

• RQ1 비판적 의미 해석이라는 새로운 과제에 대해 단일언어 기계번역이 효과적으로 적용될 수 있는가?
• RQ2 자동 평가 지표는 비판적 의미 해석 품질 평가에서 인간 평가와 어떻게 비교되는가?
• RQ3 SIGN과 같은 감성 인식 기반 접근법은 표준 기계번역 시스템보다 해석 품질을 향상시키는가?
• RQ4 감성어 군집은 생성된 해석의 유창성, 적합성, 감성 정확성에 얼마나 기여하는가?
• RQ5 중심점, 맥락, 오라클 전략과 같은 다양한 군집 해제 전략은 최종 해석 품질에 어떤 영향을 미치는가?

주요 결과

• 자동 평가 지표(BLEU, ROUGE, PINC)는 모든 모델에서 유사한 점수를 보였지만, SIGN은 인간 평가에서 적합성과 감성 극성에서 베이스라인을 능가했다.
• SIGN-oracle는 인간 평가 기준으로 최고의 적합성(평균 점수 4.21/5.0)과 감성 극성(4.33/5.0)을 기록하여 의도된 의미와 강한 일치를 보였다.
• 중심점 기반 군집 해제(SIGN-centroid)는 인간 평가 기준으로 적합성 4.01/5.0과 감성 극성 4.12/5.0을 기록하며 표준 MT 베이스라인을 능가했다.
• 맥락 인식 군집 해제(SIGN-context)는 인간 평가 기준으로 적합성 4.05/5.0과 감성 극성 4.15/5.0를 기록하며 국소 맥락에 대한 강건성을 보였다.
• 3000개의 비판적 트윗과 각각 5개의 인간 약속된 해석이 포함된 데이터셋은 공개되어 있으며, 향후 비판적 의미 해석 연구를 가능하게 한다.
• 본 연구는 자동 평가 지표가 비판적 의미 해석 평가에 부적절하다는 것을 확인하며, 인간 인식에서 상당한 차이가 나는 모델을 구분하지 못한다는 점을 밝혔다.