[論文レビュー] Combining Pre-trained Word Embeddings and Linguistic Features for Sequential Metaphor Identification

Rui Mao, Chenghua Lin+1 more|arXiv (Cornell University)|Apr 7, 2021

Language, Metaphor, and Cognition参考文献 37被引用数 9

ひとこと要約

本稿では、事前学習された単語埋め込み（GloVe、ELMo、BERT）と文脈的特徴（品詞、抽象性）を統合したマルチチャネルCNN-BiLSTMモデルを提案する。異なる埋め込み間の補完的意味的・構文的情報を利用することで、3つのベンチマークデータセットにおいて最先端の性能を達成した。

ABSTRACT

We tackle the problem of identifying metaphors in text, treated as a sequence tagging task. The pre-trained word embeddings GloVe, ELMo and BERT have individually shown good performance on sequential metaphor identification. These embeddings are generated by different models, training targets and corpora, thus encoding different semantic and syntactic information. We show that leveraging GloVe, ELMo and feature-based BERT based on a multi-channel CNN and a Bidirectional LSTM model can significantly outperform any single word embedding method and the combination of the two embeddings. Incorporating linguistic features into our model can further improve model performance, yielding state-of-the-art performance on three public metaphor datasets. We also provide in-depth analysis on the effectiveness of leveraging multiple word embeddings, including analysing the spatial distribution of different embedding methods for metaphors and literals, and showing how well the embeddings complement each other in different genres and parts of speech.

研究の動機と目的

• 異なる意味的・構文的知識をエンコードする複数の事前学習済み単語埋め込みを統合することで、順序的隠喩識別を向上させること。
• GloVe、ELMo、BERTのような多様な埋め込みを組み合わせることで、個々の埋め込みや2つ組み合わせよりも性能が向上するかどうかを検証すること。
• 品詞と語の抽象性といった文脈的特徴を統合することで、隠喩検出性能に与える影響を評価すること。
• ジャンルや品詞ごとに異なる埋め込みの補完性を分析し、それぞれの強みを理解すること。
• 埋め込みの組み合わせが優れた性能を発揮する条件、特にベクトル空間の整合性と特徴のバランスの観点から分析すること。

提案手法

• 各チャネルが異なる単語埋め込み（GloVe、ELMo、BERT）を処理するマルチチャネル畳み込みニューラルネットワーク（CNN）を採用し、局所的特徴を抽出する。
• CNNの出力を双方向LSTM（BiLSTM）に供給し、系列内の長距離依存関係をモデル化する。
• 品詞タグと語の抽象性スコアといった文脈的特徴を、モデルの追加入力特徴として統合する。
• SVDを用いた直交射影により、BERTとELMoの埋め込みを同一のベクトル空間にアライメントし、一貫性のある比較と統合を実現する。
• BIOタギング方式を用いて、3つの公開メタファーデータセット（VUA、MOH-X、TroFi）上でモデルをエンドツーエンドで訓練する。
• 開発セットおよびテストセットにおける標準指標（精度、再現率、F1スコア）を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 GloVe、ELMo、BERTといった複数の事前学習済み単語埋め込みを組み合わせることで、単一の埋め込みよりも順序的隠喩識別性能が向上するか？
• RQ2 異なる埋め込みの組み合わせ（例：2つ vs. 3つ）が、異なるジャンルや品詞においてF1スコアに与える影響は何か？
• RQ3 品詞や語の抽象性といった文脈的特徴を、複数の埋め込み入力と組み合わせることで、隠喩検出性能はどの程度向上するか？
• RQ4 なぜ特定の埋め込みの組み合わせ（例：ELMoと初期のBERT層）は性能が低くなるのか？空間的または分布的要因は何か？
• RQ5 どのBERT層が隠喩識別に最も効果的か？また、NERなどの他のNLPタスクにおける性能と比べて、どのように異なるか？

主な発見

• GloVe、ELMo、特徴ベースのBERT（GEB）の組み合わせが、3つのデータセットすべてで最高のF1スコアを達成し、最良の単一埋め込み（BERT）を2.3%上回った。
• ELMo + BERT（EB）の組み合わせは、平均F1スコアで最良の単一埋め込み（BERT）を1.0%上回り、2つの埋め込みを統合することで一貫した向上が得られた。
• BERTの中央層（特に11〜17層）が、隠喩識別において最後の層よりも優れた性能を示したのに対し、NERタスクでは後続の層が最適であったことと対照的であった。
• 形容詞では、埋め込みの組み合わせによる性能向上が最も顕著であった：GE（GloVe + ELMo）はELMo単体より7.3%向上、GB17（GloVe + BERT17層）はBERT17層単体より4.2%向上した。
• ELMoと回転させたBERT埋め込みの平均L2距離とモデル性能の間に負の相関（R = -0.70）が確認され、埋め込み間の空間的不一致が効果的な統合を妨げる要因であることが示された。
• 異なるコーパスで学習され、異なるアーキテクチャを持つ埋め込みを組み合わせた場合、性能が最も高くなった。これは、異なる意味的・構文的パターンを捉える上で、それらが補完的であることを裏付けた。