[論文レビュー] HeBERT & HebEMO: a Hebrew BERT Model and a Tool for Polarity Analysis and Emotion Recognition

Avihay Chriqui, Inbal Yahav|arXiv (Cornell University)|Feb 3, 2021

Sentiment Analysis and Opinion Mining参考文献 55被引用数 15

ひとこと要約

本稿では、現代ヘブライ語向けのBERTベースの言語モデルHeBERTと、ヘブライ語のユーザーアービトリー・コンテンツにおける極性検出および感情認識を目的としたツールHebEMOを紹介する。HeBERTは、標準的なNLPタスクにおいて、既存のヘブライ語モデルを上回る性能を示し、HebEMOは極性分類でF1スコア0.96、感情検出で0.78〜0.97を達成し、それらは英語の最先端モデルでさえも上回る性能を示している。

ABSTRACT

This paper introduces HeBERT and HebEMO. HeBERT is a Transformer-based model for modern Hebrew text, which relies on a BERT (Bidirectional Encoder Representations for Transformers) architecture. BERT has been shown to outperform alternative architectures in sentiment analysis, and is suggested to be particularly appropriate for MRLs. Analyzing multiple BERT specifications, we find that while model complexity correlates with high performance on language tasks that aim to understand terms in a sentence, a more-parsimonious model better captures the sentiment of entire sentence. Either way, out BERT-based language model outperforms all existing Hebrew alternatives on all common language tasks. HebEMO is a tool that uses HeBERT to detect polarity and extract emotions from Hebrew UGC. HebEMO is trained on a unique Covid-19-related UGC dataset that we collected and annotated for this study. Data collection and annotation followed an active learning procedure that aimed to maximize predictability. We show that HebEMO yields a high F1-score of 0.96 for polarity classification. Emotion detection reaches F1-scores of 0.78-0.97 for various target emotions, with the exception of surprise, which the model failed to capture (F1 = 0.41). These results are better than the best-reported performance, even among English-language models of emotion detection.

研究の動機と目的

• 現代ヘブライ語に特化した高精度なBERTベースの言語モデルの開発を目的とし、言語のための強固な事前学習モデルの不足を補う。
• 特に非公式で多様なオンラインソースからのユーザーフレンドリーなコンテンツ（UGC）における感情極性および感情認識を可能にするツール、HebEMOの開発を目的とする。
• アクティブラーニングを用いて、Covid-19関連のユニークなヘブライ語UGCデータセットを収集・アノテートし、感情および極性タスクにおける予測性能を最大化する。
• より簡潔なBERTアーキテクチャが、ヘブライ語における文レベルの感情理解において、複雑な変種を上回ることを示す。
• ヘブライ語および英語の両方の言語で、既存モデルを上回る新しい最先端のベンチマークを確立する。

提案手法

• 大規模な現代ヘブライ語コーパス上で微調整されたBERTベースのアーキテクチャを用いて、ヘブライ語NLPタスクに最適化された文脈的言語表現モデル、HeBERTを構築した。
• Covid-19の議論に焦点を当てた、独自に収集され、アクティブにアノテートされたヘブライ語UGCデータセットを用いて、HebEMOをトレーニングした。これにより、タスクの関連性と予測力が向上した。
• データアノテーションの過程でアクティブラーニングを採用し、不確実性が高く情報量の多いサンプルを優先することで、モデルの汎化性能と性能を向上させた。
• HebEMOでは、HeBERTをベースエンコーダーとして採用し、極性分類およびマルチクラス感情認識の両方のタスクに、シーケンス分類ヘッドを微調整して適用した。
• 標準的なNLP評価指標（F1スコアなど）を用いて、感情および極性検出タスクの性能を評価した。
• さまざまな感情カテゴリにおけるモデル性能を比較し、驚きの検出に困難を示すことが判明した。これは、アノテーションの一貫性の低さやデータの不足によるものである。

実験結果

リサーチクエスチョン

• RQ1 BERTベースのモデルは、特に感情理解において、既存の代替手法よりも優れた性能を示せるか？
• RQ2 よりコンactなBERTアーキテクチャは、ヘブライ語における文レベルの感情理解において、より大きな複雑なモデルを上回るか？
• RQ3 ドメイン特化型でアクティブにアノテートされたUGCデータセットでトレーニングされたモデルは、ヘブライ語における極性および感情検出でどの程度高い性能を発揮できるか？
• RQ4 低リソース言語であるヘブライ語において、HebEMOの感情検出性能は、英語の最先端モデルと比較してどの程度か？
• RQ5 モデルが驚きを効果的に検出できない理由は何か？これは、低リソース環境におけるデータ品質やモデルの汎化能力に関する何を示唆しているか？

主な発見

• HeBERTは、標準的なNLPベンチマークにおいて、既存のすべてのヘブライ語言語モデルを上回り、ヘブライ語表現学習における新しい最先端の水準を確立した。
• HebEMOは極性分類でF1スコア0.96を達成し、ヘブライ語の感情分析においてほぼ専門家レベルの性能を示している。
• 感情検出の性能は感情の種類によって異なるが、F1スコアは0.78から0.97の範囲にあり、大多数の感情に対して優れた性能を示している。
• モデルは驚きの検出に苦戦しており、F1スコアはわずか0.41にとどまり、この感情に対するデータの枯渇やアノテーションの課題が原因であると考えられる。
• 低リソース言語であるにもかかわらず、HebEMOの性能は、複数の評価設定において、報告済みの最高の英語感情検出モデルを上回っている。
• 本研究は、モデルの単純さがヘブライ語における文レベルの感情理解を向上させられることを確認した。これは、より大きなモデルが常に優れた結果をもたらすという仮定に疑問を呈するものである。