[論文レビュー] ColBERT: Using BERT Sentence Embedding in Parallel Neural Networks for Computational Humor

Issa Annamoradnejad, Gohar Zoghi|arXiv (Cornell University)|Apr 27, 2020

Humor Studies and Applications参考文献 34被引用数 6

ひとこと要約

本論文では、一貫性理論に基づき、短いテキストにおけるユーモアを不条理性によって検出・評価するため、並列パスで処理されるBERT文埋め込みを用いる新しいニューラルネットワークアーキテクチャ、ColBERTを提案する。各文を別々に符号化し、意味的整合性を評価するための特徴を統合することで、新規の英語データセットではF1スコア0.982、スペイン語ツイートコンペティションでは0.869を達成し、最先端のモデルを上回る性能を発揮。文レベルの意味論的構造と文脈的整合性に重点を置いている。

ABSTRACT

Automation of humor detection and rating has interesting use cases in modern technologies, such as humanoid robots, chatbots, and virtual assistants. In this paper, we propose a novel approach for detecting and rating humor in short texts based on a popular linguistic theory of humor. The proposed technical method initiates by separating sentences of the given text and utilizing the BERT model to generate embeddings for each one. The embeddings are fed to separate lines of hidden layers in a neural network (one line for each sentence) to extract latent features. At last, the parallel lines are concatenated to determine the congruity and other relationships between the sentences and predict the target value. We accompany the paper with a novel dataset for humor detection consisting of 200,000 formal short texts. In addition to evaluating our work on the novel dataset, we participated in a live machine learning competition focused on rating humor in Spanish tweets. The proposed model obtained F1 scores of 0.982 and 0.869 in the humor detection experiments which outperform general and state-of-the-art models. The evaluation performed on two contrasting settings confirm the strength and robustness of the model and suggests two important factors in achieving high accuracy in the current task: 1) usage of sentence embeddings and 2) utilizing the linguistic structure of humor in designing the proposed model.

研究の動機と目的

• 文脈に根ざしたアプローチを用いて、短いテキストにおけるユーモアの自動検出および評価システムの開発を目的とする。
• 既存のユーモアデータセットの限界を克服するため、20万件のフォーマルな短いテキストからなる統計的にバランスの取れた大規模データセットの構築を目的とする。
• フォーマルな英語およびインフォーマルなスペイン語ツイートを含む多様なテキストタイプに対して、モデルの頑健性を評価することを目的とする。
• 文レベルの埋め込みとユーモアの構造的モデリングが、検出精度に与える影響を調査することを目的とする。
• 並列ニューラルネットワークアーキテクチャが、ユーモアにおける文間の不条理性を捉えるのに効果的であることを示すこと

提案手法

• モデルは入力テキストを個々の文に分割し、各文に対してBERTを用いて文脈に応じた文埋め込みを生成する。
• 各文埋め込みは、ニューラルネットワーク内の別々の、並列な隠れ層スティームを経由して処理され、潜在的特徴が抽出される。
• すべての文固有のスティームからの出力が連結され、最終層に供給され、整合性の評価とユーモアの可能性予測がなされる。
• アーキテクチャはエンドツーエンドで訓練され、テキストがユーモラブルかどうかを分類するように最適化され、バイナリ検出には交差エントロピー、レート予測の回帰にはRMSEが損失関数として使用される。
• スペイン語テキストの場合は、意味のある文埋め込みを保証するため、英語用BERTの代わりにBETO-uncased BERTが使用される。
• 外れ値を除去し、ユーモラブルと非ユーモラブルなテキスト間の統計的性質をバランスさせる、きめ細かいデータクリーニングパイプラインが実装される。

実験結果

リサーチクエスチョン

• RQ1 並列に処理され、BERT埋め込みを活用するニューラルネットワークアーキテクチャが、ユーモア検出において高い精度を達成できるか？
• RQ2 文レベルの関係に焦点を当てた不条理性理論に基づくユーモアモデリングは、全体的なテキスト符号化と比較して性能を向上させるか？
• RQ3 ColBERTモデルは、インフォーマルでリソースが限られた、非英語のテキスト、例えばスペイン語ツイートに対しても、どれほど頑健か？
• RQ4 文レベルの埋め込みとユーモアの構造的モデリングは、検出精度の向上にどの程度寄与するか？
• RQ5 フォーマルな短いテキストから構成され、バランスが取れており事前処理が施された大規模なデータセットは、将来的なユーモア検出研究の信頼できるベンチマークとして機能できるか？

主な発見

• ColBERTモデルは、フォーマルな英語短いテキストにおけるバイナリユーモア検出において、新規のColBERTデータセットでF1スコア0.982を達成し、強力なベースラインを上回った。
• スペイン語のインフォーマルなツイートに関するライブ機械学習コンペティションでは、レート予測でRMSE 0.6246で2位、バイナリ検出でF1スコア0.8696で3位を獲得した。
• フォーマルな英語とインフォーマルなスペイン語という2つの異なる設定において、モデルの性能が示されたことで、強力な頑健性と一般化能力が裏付けられた。
• アブレーションスタディの結果、文レベルの埋め込みと並列処理による言語的構造モデリングの両方が、高い精度を達成するために不可欠であることが確認された。
• 20万件の短いテキスト（ユーモラブル10万件、非ユーモラブル10万件）からなる提案されたColBERTデータセットは、統計的にバランスが取れており、従来のデータセットに見られる一般的なバイアスが存在しない。
• 結果は、ユーモア検出が、BERT埋め込みの文固有の並列処理によって文間の不条理性をモデル化することで、効果的に向上することを裏付けた。