[논문 리뷰] Really? Well. Apparently Bootstrapping Improves the Performance of Sarcasm and Nastiness Classifiers for Online Dialogue

Stephanie M. Lukin, Marilyn Walker|arXiv (Cornell University)|2017. 08. 29.

Mobile Crowdsensing and Crowdsourcing참고 문헌 18인용 수 24

한 줄 요약

이 논문은 온라인 대화에서 풍자와 비속어 분류를 향상시키기 위해 인공지능 기반 언어적 신호와 문법적 패턴 일반화를 결합한 부트스트래핑 방법을 제안한다. 풍자에 대해 62%의 정밀도와 52%의 재현율을 달성하였고, 비속어에 대해선 75%의 정밀도와 62%의 재현율을 기록하여, 패턴 기반 부트스트래핑이 초기 신호 기반 분류기보다 성능을 크게 향상시킨다는 것을 입증한다.

ABSTRACT

More and more of the information on the web is dialogic, from Facebook newsfeeds, to forum conversations, to comment threads on news articles. In contrast to traditional, monologic Natural Language Processing resources such as news, highly social dialogue is frequent in social media, making it a challenging context for NLP. This paper tests a bootstrapping method, originally proposed in a monologic domain, to train classifiers to identify two different types of subjective language in dialogue: sarcasm and nastiness. We explore two methods of developing linguistic indicators to be used in a first level classifier aimed at maximizing precision at the expense of recall. The best performing classifier for the first phase achieves 54% precision and 38% recall for sarcastic utterances. We then use general syntactic patterns from previous work to create more general sarcasm indicators, improving precision to 62% and recall to 52%. To further test the generality of the method, we then apply it to bootstrapping a classifier for nastiness dialogic acts. Our first phase, using crowdsourced nasty indicators, achieves 58% precision and 49% recall, which increases to 75% precision and 62% recall when we bootstrap over the first level with generalized syntactic patterns.

연구 동기 및 목표

• 소셜 미디어 텍스트에서 흔하지만 도전적인 풍자와 비속어를 효과적으로 식별할 수 있는 확장 가능한 방법을 개발하는 것.
• 원래 주관문장 탐지에 사용된 단일 대화 기반 부트스트래핑 접근법을 더 복잡한 대화적·대화형 텍스트 환경에 적응시키는 것.
• 초기 인간에 의해 주어진 신호에서 일반화된 문법적 패턴을 사용할 경우, 분류기 성능이 초기 신호 기반 분류기보다 향상되는지 평가하는 것.
• 풍자와 비속어와 같은 두 가지 다른 주관적 언어 유형에 대해 적용하여, 이 방법의 일반화 능력을 시험하는 것.
• 의미적 범주(예: LIWC)가 문법적 패턴을 넘어서 성능 향상에 기여할 수 있는지 탐색하는 것.

제안 방법

• 기계 투르크(Manual Turk)의 평가자들이 인터넷 논쟁 코퍼스에서의 Q/R 쌍에서 풍자와 비속어를 위한 언어적 신호(핵심어/어구)를 공동으로 수집한다.
• 정밀도를 극대화하고 재현율을 희생시키는 통계적 측정치(예: 상호정보량)를 사용해 인간에 의해 주어진 신호를 기반으로 정밀도가 높고 재현율이 낮은 분류기를 훈련시킨다.
• 첫 번째 분류기의 출력 결과를 바탕으로 패턴 추출기를 적용하여 식별된 풍자/비속어 발언에서 일반화된 문법적 패턴을 학습한다.
• 추출된 문법적 패턴을 사용해 더 일반화 능력이 뛰어난 두 번째 분류기를 훈련시켜 정밀도와 재현율을 동시에 향상시킨다.
• 반복적인 부트스트래핑 과정을 통해 새로 분류된 데이터를 기반으로 패턴 추출기를 재학습시키는 것을 수행하나, 이는 향후 연구 과제로 남겨둔다.
• 보류된 개발 세트에서 정밀도, 재현율, F-측정치를 사용해 신호 기반 분류기와 패턴 기반 분류기의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 원래 단일 대화 텍스트에 설계된 부트스트래핑 방법이 대화형 온라인 대화에서 풍자와 비속어를 분류하는 데 효과적으로 적용될 수 있는가?
• RQ2 초기 언어적 신호에서 일반화된 문법적 패턴을 사용할 경우, 정밀도와 재현율 측면에서 분류기 성능이 유의미하게 향상되는가?
• RQ3 제안된 방법의 성능 지표는 기존의 단일 대화 풍자 탐지 연구와 비교해 볼 때 정밀도와 재현율 측면에서 어떻게 다른가?
• RQ4 이 방법은 풍자와 비속어와 같은 다양한 유형의 주관적 대화 행위에 일반화될 수 있는가?
• RQ5 의미적 범주(예: LIWC)가 문법적 패턴을 넘어서 성능 향상에 기여할 수 있는가?

주요 결과

• 초기 신호 기반 분류기는 풍자에 대해 54%의 정밀도와 38%의 재현율을 기록하여 정밀도는 우수하지만 재현율이 제한됨을 보여주었다.
• 문법적 패턴을 통한 부트스트래핑 이후, 풍자 분류기는 62%의 정밀도와 52%의 재현율로 향상되어 정밀도는 17% 증가하고 재현율은 24% 증가하였다.
• 비속어에 대해서는 초기 분류기가 58%의 정밀도와 49%의 재현율을 기록했으며, 패턴 기반 부트스트래핑 이후 75%의 정밀도와 62%의 재현율로 향상되어 정밀도는 14% 증가하고 재현율은 13% 증가하였다.
• 패턴 기반 분류기가 신호 기반 분류기보다 성능이 뛰어나, 문법적 일반화가 주관적 대화에서 더 넓은 언어 패턴을 효과적으로 포착한다는 것을 시사한다.
• 풍자와 비속어 분류 작업 전반에서 일관된 성능 향상이 관찰되어, 이 방법이 다양한 주관적 언어 유형에 잘 일반화됨을 입증한다.
• 결과적으로 비속어 탐지가 풍자 탐지보다 더 쉽다는 점이 드러났으며, 이는 비속어 표현이 덜 뉘앙스가 짙어 더 쉽게 식별될 수 있기 때문일 수 있다.