[논문 리뷰] Automatic Identification of Sarcasm Target: An Introductory Approach

Aditya Joshi, Pranav Goel외 2명|arXiv (Cornell University)|2016. 10. 22.

Sentiment Analysis and Opinion Mining참고 문헌 21인용 수 3

한 줄 요약

이 논문은 비웃음의 대상이 되는 실체나 개념을 비웃는 발언에서 추출하는 새로운 과제인 비웃음 대상 식별을 소개한다. 규칙 기반 및 통계적 분류기의 하이브리드 접근법을 제안하며, 이는 책 문장 요약과 트윗에서 두 기준선과 개별 구성 요소를 모두 능가한다. 하이브리드 OR 구성에서 39.63의 딱지 점수를 기록한다.

ABSTRACT

Past work in computational sarcasm deals primarily with sarcasm detection. In this paper, we introduce a novel, related problem: sarcasm target identification i.e., extracting the target of ridicule in a sarcastic sentence). We present an introductory approach for sarcasm target identification. Our approach employs two types of extractors: one based on rules, and another consisting of a statistical classifier. To compare our approach, we use two baselines: a naïve baseline and another baseline based on work in sentiment target identification. We perform our experiments on book snippets and tweets, and show that our hybrid approach performs better than the two baselines and also, in comparison with using the two extractors individually. Our introductory approach establishes the viability of sarcasm target identification, and will serve as a baseline for future work.

연구 동기 및 목표

• 비웃음 연구의 계산적 측면에서 아직 탐색되지 않은 비웃음의 대상 식별 과제를 해결하기 위해, 비웃는 문장에서 비웃는 대상이 되는 실체나 개념을 특정하는 것.
• 비웃는 문장에서 비웃는 대상이 되는 특정 실체나 개념을 정확히 추출하는 방법을 개발하는 것.
• 실제 비웃는 텍스트에 대해 규칙 기반 및 통계적 추출 기법을 융합한 하이브리드 접근법의 성능을 평가하는 것.
• 수동으로 주석 처리된 데이터셋을 사용하여 향후 연구를 위한 기준선을 설정하는 것.
• 복수의 대상이나 텍스트에 명시적으로 존재하지 않는 경우(라벨: 'Outside')와 같은 과제를 분석하는 것.

제안 방법

• 이 접근법은 문법적 및 어휘적 패턴을 기반으로 비웃음의 대상을 식별하기 위해 9개의 언어학적 규칙을 구현한 규칙 기반 추출기를 사용한다.
• 통계적 분류기는 문장의 각 단어를 별개의 인스턴스로 처리하며, 품사(POS) 및 감성 특징을 사용해 해당 단어가 비웃음의 대상인지 예측한다.
• 두 추출기의 출력은 두 가지 구성 방식으로 통합된다: OR(예측의 합집합) 및 AND(예측의 교집합).
• 시스템은 두 개의 수동으로 주석 처리된 데이터셋(책 문장 요약과 트윗)을 기반으로 훈련 및 평가된다.
• 정확도 일치(EM), F1, 딱지 점수를 사용해 성능을 측정하며, 특히 대상이 텍스트에 존재하지 않는 경우('Outside')에 특별한 주의를 기울인다.
• 오류 분석은 대상이 문장에 존재하지 않는 경우에 초점을 맞추며, 잘못된 분류 패턴을 식별한다.

실험 결과

연구 질문

• RQ1 규칙 기반 및 통계적 방법을 융합한 하이브리드 접근법이 비웃는 문장에서 비웃는 대상의 식별에 효과적으로 작용할 수 있는가?
• RQ2 제안된 방법의 성능가 장기적인 기준선 및 감성 대상 식별 기준선과 비교해 볼 때 어떻게 되는가?
• RQ3 비웃는 대상이 텍스트에 명시적으로 존재하지 않는 경우(즉, 'Outside' 케이스)에 어떤 과제가 발생하는가?
• RQ4 OR 및 AND 융합 전략은 정밀도, 재현율, F1 점수 측면에서 어떻게 비교되는가?
• RQ5 'Outside' 케이스에서 주요 오류 패턴은 무엇이며, 향후 연구에서 이를 어떻게 완화할 수 있는가?

주요 결과

• 하이브리드 OR 구성이 복합 데이터셋에서 가장 높은 성능을 보이며, 딱지 점수 39.63을 기록했으며, 두 기준선과 개별 추출기 모두를 능가했다.
• 규칙 기반 및 통계적 추출기 각각의 성능은 하이브리드 OR 구성보다 열등했으며, 상호 보완적인 강점을 보였다.
• 'Outside' 케이스에서 딱지 점수는 크게 하락(39.63에서 20.45로)했지만, 정확도 일치 점수는 비교적 안정된 편이었으며, 부분 일치 문제를 시사했다.
• 시스템은 'Yeah, just ignore me. That is TOTALLY the right way to handle this!'와 같은 문장에서 'Outside'를 정확히 식별했지만, 유사한 경우에 'I' 또는 'me'와 같은 대상을 잘못 지정했다.
• 오류 분석 결과, 'Outside' 케이스에서의 잘못된 분류는 주로 텍스트에 존재하지 않는 언어적 참조나 대명사의 과도한 해석에서 기인했다.
• 본 연구는 비웃음 대상 식별을 위한 첫 번째 기준선을 수립했으며, 향후 연구를 위한 공개된 주석 처리된 데이터셋을 제공한다.