[論文レビュー] ColBERT: Using BERT Sentence Embedding for Humor Detection

Issa Annamoradnejad|arXiv (Cornell University)|Apr 27, 2020

Humor Studies and Applications参考文献 31被引用数 54

ひとこと要約

本論文では、文の埋め込みと並列な隠れ層を活用して短いテキストにおけるユーモアを検出する、BERTに基づくニューラルネットワーク、ColBERTを提案する。ユーモアの言語的構造をモデル化することで、新規に作成された20万件のサンプルから成るデータセットにおいて98.2%の正確性とF1スコアを達成し、11000万パラメータの8層モデルにより、ベースラインを著しく上回る性能を発揮した。

ABSTRACT

Automatic humor detection has interesting use cases in modern technologies, such as chatbots and virtual assistants. In this paper, we propose a novel approach for detecting humor in short texts based on the general linguistic structure of humor. Our proposed method uses BERT to generate embeddings for sentences of a given text and uses these embeddings as inputs of parallel lines of hidden layers in a neural network. These lines are finally concatenated to predict the target value. For evaluation purposes, we created a new dataset for humor detection consisting of 200k formal short texts (100k positive and 100k negative). Experimental results show that our proposed method can determine humor in short texts with accuracy and an F1-score of 98.2 percent. Our 8-layer model with 110M parameters outperforms the baseline models with a large margin, showing the importance of utilizing linguistic structure of texts in machine learning models.

研究の動機と目的

• チャットボットやバーチャルアシスタントのような短いテキストにおける自動的なユーモア検出のための堅牢な手法の開発。
• 深層学習を用いて、ユーモアの言語的構造を効果的にモデル化できるかの調査。
• ユーモラスなテキスト10万件、非ユーモラスなテキスト10万件を含む、大規模かつバランスの取れた20万件の短いテキストデータセットの作成。
• BERT埋め込みを用いた構造的表現を組み込むことで、既存のベースラインモデルを改善すること。

提案手法

• 本手法は、入力となる短いテキストの文脈に応じた文の埋め込みをBERTを用いて生成する。
• これらの埋め込みは、言語的特徴を独立して処理できるように、並列な隠れ層に供給される。
• 並列な隠れ層からの出力は、最終予測の前に連結される。
• モデルのアーキテクチャは、共有および並列な表現を通じて、ユーモアにおける構造的ニュアンスを捉えるように設計されている。
• 新規に作成されたデータセット上で学習された、8層で11000万パラメータのニューラルネットワークが使用されている。
• 交差エントロピー損失を用いて、バイナリ分類のための最適化が行われている。

実験結果

リサーチクエスチョン

• RQ1 BERTベースの文の埋め込みは、短いテキストにおけるユーモアの言語的構造を効果的に捉えることができるか？
• RQ2 標準的なアーキテクチャと比較して、並列な隠れ層を用いてユーモアをモデル化することで、検出性能がどのように向上するか？
• RQ3 大規模かつバランスの取れたデータセットは、ユーモア検出モデルの一般化性能をどの程度向上させるか？
• RQ4 構造的な言語的特徴を組み込むことで、ベースラインモデルに対して顕著な性能向上が得られるか？

主な発見

• 提案されたColBERTモデルは、新規に作成された20万件のサンプルから成るユーモア検出データセットにおいて、テスト精度98.2%を達成した。
• モデルはF1スコア98.2%を記録しており、精度と再現率の両方が良好であることを示している。
• 11000万パラメータの8層アーキテクチャは、ベースラインモデルを著しく上回る性能を発揮した。
• 並列な隠れ層とBERT埋め込みの使用により、モデルの微細なユーモアの兆候を検出する能力が顕著に向上した。
• 結果として、ユーモアの言語的構造をモデル化することで、標準的手法よりも検出性能が向上することが示された。
• 20万件の短いテキスト（正例10万件、負例10万件）から成る新規データセットは、今後のユーモア検出研究のための強固なベンチマークを提供する。