[논문 리뷰] ColBERT: Using BERT Sentence Embedding in Parallel Neural Networks for Computational Humor

Issa Annamoradnejad, Gohar Zoghi|arXiv (Cornell University)|2020. 04. 27.

Humor Studies and Applications참고 문헌 34인용 수 6

한 줄 요약

이 논문은 불일치 이론을 기반으로 짧은 텍스트에서 유머를 탐지하고 평가하기 위해 병렬 경로를 통해 처리되는 BERT 문장 임베딩을 사용하는 새로운 신경망 아키텍처인 ColBERT를 제안한다. 각 문장을 별도로 인코딩하고 의미 일관성 평가를 위해 특징을 통합함으로써, 새로운 영어 데이터셋에서 F1 점수 0.982, 스페인어 트윗 경연 대회에서 0.869를 기록하며 최신 기술을 초월하며 문장 수준의 의미론적 구조와 언어적 구조를 강조한다.

ABSTRACT

Automation of humor detection and rating has interesting use cases in modern technologies, such as humanoid robots, chatbots, and virtual assistants. In this paper, we propose a novel approach for detecting and rating humor in short texts based on a popular linguistic theory of humor. The proposed technical method initiates by separating sentences of the given text and utilizing the BERT model to generate embeddings for each one. The embeddings are fed to separate lines of hidden layers in a neural network (one line for each sentence) to extract latent features. At last, the parallel lines are concatenated to determine the congruity and other relationships between the sentences and predict the target value. We accompany the paper with a novel dataset for humor detection consisting of 200,000 formal short texts. In addition to evaluating our work on the novel dataset, we participated in a live machine learning competition focused on rating humor in Spanish tweets. The proposed model obtained F1 scores of 0.982 and 0.869 in the humor detection experiments which outperform general and state-of-the-art models. The evaluation performed on two contrasting settings confirm the strength and robustness of the model and suggests two important factors in achieving high accuracy in the current task: 1) usage of sentence embeddings and 2) utilizing the linguistic structure of humor in designing the proposed model.

연구 동기 및 목표

• 언어학적으로 근거를 둔 접근 방식을 사용하여 짧은 텍스트의 유머를 자동으로 탐지하고 평가하는 시스템을 개발하는 것.
• 기존의 유머 데이터셋의 한계를 해결하기 위해 20만 개의 공식적인 짧은 텍스트로 구성된 통계적으로 균형 잡힌 대규모 데이터셋을 구축하는 것.
• 공식적인 영어와 비공식적인 스페인어 트윗을 포함한 다양한 텍스트 유형에 대해 모델의 강건성과 일반화 능력을 평가하는 것.
• 문장 수준의 임베딩과 유머의 구조적 모델링이 탐지 정확도에 미치는 영향을 조사하는 것.
• 유머의 문장 간 불일치를 파악하기 위해 병렬 신경망 아키텍처가 효과적으로 작용하는지 보여주는 것.

제안 방법

• 모델은 입력 텍스트를 개별 문장으로 분할하고, 각 문장에 대해 BERT를 사용해 문맥 기반 문장 임베딩을 생성한다.
• 각 문장 임베딩은 신경망의 별도이자 병렬적인 히든 레이어 스트림을 통해 잠재적 특징을 추출한다.
• 모든 문장 전용 스트림의 출력을 연결하여 최종 레이어에 입력하여 일관성 평가 및 유머 가능성 예측을 수행한다.
• 모델은 엔드 투 엔드로 훈련되어 텍스트가 유머인지 여부를 분류하며, 이진 탐지에 대해 교차 엔트로피, 회귀 기반 평가에 대해 RMSE를 최적화한다.
• 스페인어 텍스트의 경우 의미 있는 문장 임베딩을 확보하기 위해 영어 BERT 대신 BETO-uncased BERT를 사용한다.
• 외곽치 제거 및 유머 있는 텍스트와 비유머 텍스트 간 통계적 성질의 균형을 맞추기 위해 철저한 데이터 정제 파이프라인을 구현하여 편향을 줄인다.

실험 결과

연구 질문

• RQ1 병렬로 처리하고 BERT 임베딩을 활용하는 신경망 아키텍처가 짧은 텍스트의 유머 탐지에서 높은 정확도를 달성할 수 있는가?
• RQ2 불일치 이론에 기반한 유머 모델링—특히 문장 간 관계에 초점을 맞춘 것—이 통합 텍스트 인코딩 방식보다 성능을 향상시키는가?
• RQ3 비공식적이고 자원이 적은, 그리고 비영어 텍스트인 스페인어 트윗과 같은 환경에 적용했을 때 ColBERT 모델의 강건성은 어느 정도인가?
• RQ4 문장 수준의 임베딩과 유머의 구조적 모델링이 탐지 정확도 향상에 어느 정도 기여하는가?
• RQ5 대규모로 균형 잡힌 사전 전처리된 공식적인 짧은 텍스트 데이터셋이 향후 유머 탐지 연구의 신뢰할 수 있는 벤치마크로 기능할 수 있는가?

주요 결과

• ColBERT 모델은 공식적인 영어 짧은 텍스트에서 이진 유머 탐지에 대해 새로운 ColBERT 데이터셋에서 F1 점수 0.982를 기록하며 강력한 베이스라인을 초월했다.
• 스페인어 비공식 트윗에 대한 실시간 머신러닝 경연 대회에서, 유머 평가에 대해 RMSE 0.6246로 2위, 이진 탐지에 대해 F1 점수 0.8696으로 3위를 기록했다.
• 공식적인 영어와 비공식적인 스페인어라는 두 가지 상이한 환경에서의 성능은 모델의 강건성과 일반화 능력을 잘 보여준다.
• 제거 실험 결과, 문장 수준의 임베딩과 병렬 처리를 통한 언어적 구조 모델링이 높은 정확도를 확보하는 데 핵심적임을 확인했다.
• 제안된 ColBERT 데이터셋은 20만 개의 짧은 텍스트(유머 10만 개, 비유머 10만 개)로 구성되어 있으며, 통계적으로 균형 잡혀 있고 이전 데이터셋에서 흔히 발견되는 편향이 없다.
• 결과는 유머 탐지에 있어 BERT 임베딩을 병렬로 문장 전용으로 처리함으로써 문장 간 불일치를 모델링하는 것이 효과적이라는 가설을 검증한다.