[논문 리뷰] Dutch Humor Detection by Generating Negative Examples

Thomas Winters, Pieter Delobelle|arXiv (Cornell University)|2020. 10. 26.

Humor Studies and Applications참고 문헌 28인용 수 4

한 줄 요약

이 논문은 텍스트 생성 알고리즘을 사용하여 실제가 아닌 농담 예시를 생성함으로써 더 도전적인 벤치마크를 만들고, 네덜란드어 농담 감지에 대한 새로운 방법을 제안한다. 이전 연구에서 사용된 도메인 외부의 비농담 예시와는 달리, 저자는 이러한 생성된 부정 예시에서 모델을 훈련하고 평가하며, 특히 최신 기술인 RobBERT가 전통적인 모델보다 뛰어나 98.8%의 정확도를 기록하여 낮은 자원 환경에서의 농담 인식에 대해 문맥 기반 트랜스포머의 효과성을 입증한다.

ABSTRACT

Detecting if a text is humorous is a hard task to do computationally, as it usually requires linguistic and common sense insights. In machine learning, humor detection is usually modeled as a binary classification task, trained to predict if the given text is a joke or another type of text. Rather than using completely different non-humorous texts, we propose using text generation algorithms for imitating the original joke dataset to increase the difficulty for the learning algorithm. We constructed several different joke and non-joke datasets to test the humor detection abilities of different language technologies. In particular, we compare the humor detection capabilities of classic neural network approaches with the state-of-the-art Dutch language model RobBERT. In doing so, we create and compare the first Dutch humor detection systems. We found that while other language models perform well when the non-jokes came from completely different domains, RobBERT was the only one that was able to distinguish jokes from generated negative examples. This performance illustrates the usefulness of using text generation to create negative datasets for humor recognition, and also shows that transformer models are a large step forward in humor detection.

연구 동기 및 목표

• 더 도전적인 벤치마크를 만들기 위해 네덜란드어에서 신뢰할 수 있고 문맥을 고려한 농담 감지 시스템의 부족을 해결하기 위해.
• 농담의 문체와 어휘 패턴을 모방하는 비농담 예시가 도메인 특화 어휘에 의존하는 전통적 모델을 얼마나 속일 수 있는지 조사하기 위해.
• 특히 RobBERT를 포함한 현대 트랜스포머 기반 모델이 새로운, 더 어려운 농담 감지 벤치마크에서 어떻게 성능을 발휘하는지 평가하기 위해.
• 농담 감지와 같은 낮은 자원 환경의 자연어 처리 과제에서 텍스트 생성 기술을 활용해 현실적인 부정 예시를 생성하는 데의 유용성을 입증하기 위해.

제안 방법

• 저자는 네덜란드어 농담 코퍼스의 어휘적 및 문법적 패턴을 모방하는 동적 템플릿(DT) 알고리즘을 사용해 비농담 예시를 생성한다.
• 세 가지 다른 데이터셋을 구성한다: 생성된 비농담 예시, 뉴스 기사, 속담을 포함한 데이터셋으로, 모두 실제 농담과 짝을 이룬다.
• 이 데이터셋들에서 다중 모델(Naive Bayes, LSTM, CNN, RobBERT)을 훈련하고, 이진 농담/비농담 분류 작업을 수행한다.
• 쌍별 분류 작업에서는 농담과 그에 대응하는 생성된 비농담 예시를 비교하여, 어느 쪽이 더 유머러스한지 모델이 판단하도록 한다.
• RobBERT는 단일 입력 시퀀스 내에서 [SEP] 토큰으로 분리된 두 텍스트를 처리하는 시퀀스 분류 헤드로 미세조정된다.
• 평가에서는 보류된 테스트 세트에서 95% 신뢰구간을 포함한 정확도와 F1 점수를 사용한다.

실험 결과

연구 질문

• RQ1 도메인 외부의 비농담 예시(예: 뉴스, 속담)를 기반으로 훈련된 농담 감지 모델은 농담의 구조와 어휘 패턴을 모방하는 비농담 예시에 얼마나 속을 수 있는가?
• RQ2 현대적인 문맥 기반 언어 모델인 RobBERT가 도메인 내에서 더 어려운 부정 예시 데이터셋에서 기존의 신경망(LSTM, CNN)보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ3 텍스트 생성 알고리즘을 통해 부정 예시를 생성하면, 농담 감지 시스템 평가에 더 효과적인 벤치마크를 만들 수 있는가?
• RQ4 생성된 비농담 예시와 도메인 외부의 비농담 예시를 기반으로 농담을 분류할 때 모델의 성능은 어떻게 변화하는가?

주요 결과

• RobBERT는 생성된 비농담 예시 데이터셋에서 98.8%의 정확도와 98.8%의 F1 점수를 기록하여 모든 다른 모델보다 뚜렷이 뛰어나다.
• LSTM 및 CNN 모델은 뉴스 및 속담 데이터셋에서 94% 이상의 정확도를 기록했지만, 생성된 비농담 예시 세트에서는 약 47%로 급격히 떨어졌으며, 이는 도메인 신호에 의존하고 있음을 시사한다.
• 나이브 베이즈는 모든 데이터셋에서 성능이 열악했으며, 정확도가 60% 이하로 떨어져, 단어 집합 접근 방식의 한계를 드러낸다.
• 쌍별 분류 작업에서는 RobBERT가 강력한 성능(82.5% 정확도)을 유지했지만, 단일 분류 설정보다 약간 낮은 성능을 보였으며, 이는 입력 길이 제약 때문일 가능성이 높다.
• 생성된 비농담 예시 데이터셋은 전통적인 도메인 외부 비농담 예시보다 훨씬 더 어려운 도전 과제로 밝혀졌으며, 특히 어휘나 도메인 특화 기능에 의존하는 모델에게서 두드러졌다.
• RobBERT는 생성된 비농담 예시 세트에서 다른 모델보다 훨씬 뛰어난 성능(89.2% 정확도)을 보였으며, 이는 그 문맥 이해 능력이 더 나은 농담 감지에 기여함을 시사한다.