[논문 리뷰] Transformer-based Context-aware Sarcasm Detection in Conversation Threads from Social Media

Xiangjue Dong, Changmao Li외 1명|arXiv (Cornell University)|2020. 05. 22.

Sentiment Analysis and Opinion Mining참고 문헌 15인용 수 4

한 줄 요약

이 논문은 타겟 문장과 전체 대화 스레드 간의 다중 헤드 어텐션을 활용하여 사자감지 성능을 향상시키는 트랜스포머 기반의 맥락 인식 사자감지 모델을 제안한다. 맥락적 논의 특징을 통합함으로써, 트위터에서는 F1 점수가 79.0%로 최신 기술 수준에 도달했고, 레딧에서는 75.0%를 기록하여 타겟 문장 전용 기준 모델보다 각각 3.1%와 7.0% 높은 성능을 보였다.

ABSTRACT

We present a transformer-based sarcasm detection model that accounts for the context from the entire conversation thread for more robust predictions. Our model uses deep transformer layers to perform multi-head attentions among the target utterance and the relevant context in the thread. The context-aware models are evaluated on two datasets from social media, Twitter and Reddit, and show 3.1% and 7.0% improvements over their baselines. Our best models give the F1-scores of 79.0% and 75.0% for the Twitter and Reddit datasets respectively, becoming one of the highest performing systems among 36 participants in this shared task.

연구 동기 및 목표

• 소셜 미디어에서 표면적으로는 긍정적인 표현이지만 실제로는 부정적인 감정을 담고 있는 사자적 표현을 탐지하는 데 도전하는 것.
• 사자감지에 필수적인 맥락적 뉘앙스를 포착하지 못하는 타겟 문장 중심 모델의 한계를 극복하는 것.
• 최신 기술 수준의 트랜스포머 아키텍처를 사용하여 전체 대화 스레드 맥락이 사자감지 성능에 미치는 영향을 평가하는 것.
• 맥락 인식 모델링이 특히 긴 및 복잡한 스레드에서 탐지 정확도를 크게 향상시킨다는 것을 입증하는 것.
• 향후 사자감지 연구를 위한 강력한 베이스라인을 설정하고 자원을 공개하는 것.

제안 방법

• 모델은 다중 헤드 자기어텐션 메커니즘을 사용하여 타겟 문장과 그 주변 대화 맥락을 동시에 인코딩하는 트랜스포머 인코더를 사용한다.
• 스레드 내 모든 문장을 대상으로 어텐션을 수행함으로써 맥락적 표현을 학습하고, 논의 수준의 부조화를 포착한다.
• 사자감지 작업을 위해 사전 훈련된 세 가지 트랜스포머 모델—RoBERTa-Large, BERT-Large, ALBERT-xxLarge—을 미세조정한다.
• 입력은 순서를 유지하는 [CLS] + 맥락 문장들 + [SEP] + 타겟 문장 + [SEP]의 순서로 구성된다.
• 모델 훈련은 이진 교차 엔트로피 손실과 시그모이드 활성화 함수를 사용하여 사자 대 비사자에 대한 다중 레이블 분류를 수행한다.
• 모델은 두 가지 소셜 미디어 데이터셋—트위터(#sarcasm 해시태그 사용)와 레딧(Self-Annotated Reddit Corpus에서 취득)—에서 평가된다.

실험 결과

연구 질문

• RQ1 타겟 문장만을 사용하는 모델에 비해 전체 대화 스레드를 통합함으로써 사자감지 성능이 크게 향상되는가?
• RQ2 RoBERTa, BERT, ALBERT와 같은 다양한 사전 훈련된 트랜스포머 아키텍처가 맥락 인식 사자감지에 확장되었을 때 성능은 어떻게 되는가?
• RQ3 맥락이 없이 별도로 볼 땐 모호한 사자적 표현도 주변 논의 맥락이 제공되면 명확해지는 경우가 있는가?
• RQ4 레딧의 더 긴 테스트 세트처럼 스레드 길이와 문장 길이 분포가 다른 데이터셋에서 모델 성능은 어떻게 변하는가?
• RQ5 맥락 인식 모델링을 사용할 경우와 타겟 중심 모델링을 사용할 경우 오류 유형은 어떻게 달라지거나 개선되는가?

주요 결과

• 맥락 인식 모델은 타겟 중심 베이스라인 대비 레딧 데이터셋에서 F1 점수를 7.0% 절대적으로 향상시켜 최종 F1 점수는 75.0%를 기록했다.
• 트위터 데이터셋에서는 타겟 중심 베이스라인 대비 F1 점수를 3.1% 향상시켜 79.0%의 F1 점수를 달성했으며, 공동 과제에서 2위를 기록했다.
• 오류 분석 결과, 타겟 문장 전용 모델이 맥락 정보 부족으로 실패한 경우 100%의 경우에서 맥락 인식 모델이 정확히 분류했다.
• 맥락 인식 모델이 오류를 범하는 경우 대부분 노이즈가 많거나 너무 긴 맥락이 원인인 것으로 나타나, 맥락의 풍부함과 모델의 강인성 사이의 상충 관계가 드러났다.
• 공동 과제에 참가한 36개의 다른 참가자보다 성능이 뛰어나, 가장 높은 성능을 보이는 시스템 중 하나로 입증되었다.
• 특히 레딧에서 성능 향상이 두드러지며, 훈련 세트보다 테스트 세트의 대화 스레드 길이가 현저히 긴 점을 감안할 때, 긴 형태의 논의에서 맥락의 가치가 높다는 점이 확인되었다.