[논문 리뷰] ColBERT: Using BERT Sentence Embedding for Humor Detection

Issa Annamoradnejad|arXiv (Cornell University)|2020. 04. 27.

Humor Studies and Applications참고 문헌 31인용 수 54

한 줄 요약

이 논문은 문장 임베딩과 병렬 히든 레이어를 활용하여 짧은 텍스트에서 유머를 탐지하는 BERT 기반 신경망인 ColBERT를 제안한다. 유머의 언어적 구조를 모델링함으로써, 새로운 200만 건 샘플 데이터셋에서 98.2%의 정확도와 F1 스코어를 달성하며, 110M 파라미터를 가진 8층 모델로 기존 베이스라인을 크게 능가한다.

ABSTRACT

Automatic humor detection has interesting use cases in modern technologies, such as chatbots and virtual assistants. In this paper, we propose a novel approach for detecting humor in short texts based on the general linguistic structure of humor. Our proposed method uses BERT to generate embeddings for sentences of a given text and uses these embeddings as inputs of parallel lines of hidden layers in a neural network. These lines are finally concatenated to predict the target value. For evaluation purposes, we created a new dataset for humor detection consisting of 200k formal short texts (100k positive and 100k negative). Experimental results show that our proposed method can determine humor in short texts with accuracy and an F1-score of 98.2 percent. Our 8-layer model with 110M parameters outperforms the baseline models with a large margin, showing the importance of utilizing linguistic structure of texts in machine learning models.

연구 동기 및 목표

• 채팅봇과 가상 비서와 같은 짧은 텍스트에서 자동으로 유머를 탐지할 수 있는 강력한 방법을 개발하기 위해.
• 딥 러닝을 활용해 유머의 언어적 구조를 효과적으로 모델링할 수 있는지 조사하기 위해.
• 유머 탐지 연구를 위한 대규모이고 균형 잡힌 200만 건의 짧은 텍스트(유머 100만 건, 비유머 100만 건) 데이터셋을 구축하기 위해.
• BERT 임베딩을 통한 유머의 구조적 표현을 통합하여 기존 베이스라인 모델을 향상시키기 위해.

제안 방법

• 이 방법은 입력된 짧은 텍스트에 대해 컨텍스트 기반 문장 임베딩을 생성하기 위해 BERT를 사용한다.
• 이 임베딩은 병렬 구조의 히든 레이어에 입력되어 언어적 특징을 독립적으로 처리할 수 있도록 한다.
• 병렬 히든 레이어의 출력은 최종 예측 전에 연결된다.
• 모델 아키텍처는 공유 및 병렬 표현을 통해 유머의 구조적 미묘함을 포착하도록 설계되었다.
• 새로운 데이터셋으로 훈련된 8층 신경망(110M 파라미터)이 사용된다.
• 교차 엔트로피 손실을 사용하여 이진 분류를 위한 최적화가 이루어진다.

실험 결과

연구 질문

• RQ1 BERT 기반 문장 임베딩이 짧은 텍스트에서 유머의 언어적 구조를 효과적으로 포착할 수 있는가?
• RQ2 표준 아키텍처와 비교해 병렬 히든 레이어를 통해 유머를 모델링할 경우 탐지 성능이 어떻게 향상되는가?
• RQ3 대규모이고 균형 잡힌 데이터셋이 유머 탐지 모델의 일반화 능력을 어느 정도 향상시키는가?
• RQ4 구조적 언어적 특징을 통합할 경우 기존 베이스라인 모델에 비해 상당한 성능 향상이 이루어지는가?

주요 결과

• 제안된 ColBERT 모델은 새로운 200만 건 샘플 유머 탐지 데이터셋에서 테스트 정확도 98.2%를 달성한다.
• 모델은 F1 스코어 98.2%를 기록하여 정밀도와 재현율 간의 균형이 뛰어나다는 것을 나타낸다.
• 110M 파라미터를 가진 8층 아키텍처가 기존 베이스라인 모델을 크게 능가한다.
• 병렬 히든 레이어와 BERT 임베딩의 사용은 모델이 미묘한 유머 신호를 탐지하는 능력을 크게 향상시킨다.
• 결과적으로, 유머의 언어적 구조를 모델링하는 것은 표준 접근 방식보다 탐지 성능을 향상시킨다는 것이 입증되었다.
• 200만 건의 짧은 텍스트(유머 100만 건, 비유머 100만 건)로 구성된 새로운 데이터셋은 향후 유머 탐지 연구를 위한 견고한 벤치마크를 제공한다.