[論文レビュー] Metaphors in Pre-Trained Language Models: Probing and Generalization Across Datasets and Languages

Ehsan Aghazadeh, Mohsen Fayyaz+1 more|arXiv (Cornell University)|Mar 26, 2022

Language, Metaphor, and Cognition被引用数 6

ひとこと要約

本稿では、事前学習言語モデル（PLM）が文脈的表現に隠された比喩的知識をどのようにエンコードしているかを、英語、スペイン語、ロシア語、ペルシャ語の4言語および4つの比喩検出データセットを用いて調査する。結果として、比喩的知識は主に中層にエンコードされており、アノテーションが一貫している場合には言語間で効果的に一般化されるが、アノテーションガイドラインが異なるデータセット間ではそれほど一般化されないことが示された。

ABSTRACT

Human languages are full of metaphorical expressions. Metaphors help people understand the world by connecting new concepts and domains to more familiar ones. Large pre-trained language models (PLMs) are therefore assumed to encode metaphorical knowledge useful for NLP systems. In this paper, we investigate this hypothesis for PLMs, by probing metaphoricity information in their encodings, and by measuring the cross-lingual and cross-dataset generalization of this information. We present studies in multiple metaphor detection datasets and in four languages (i.e., English, Spanish, Russian, and Farsi). Our extensive experiments suggest that contextual representations in PLMs do encode metaphorical knowledge, and mostly in their middle layers. The knowledge is transferable between languages and datasets, especially when the annotation is consistent across training and testing sets. Our findings give helpful insights for both cognitive and NLP scientists.

研究の動機と目的

• 事前学習言語モデル（PLM）の文脈的表現に比喩的知識がエンコードされているかどうかを特定すること。
• 異なる言語およびデータセット間での比喩的知識の一般化を評価すること。
• PLM内の階層ごとの比喩的情報の分布を調査すること。
• アノテーションの一貫性が、多言語および多データセット間の転移性能に与える影響を評価すること。
• PLMの比喩理解に対する認知的妥当性に関する知見を提供すること。

提案手法

• エッジプローブと最小記述長（MDL）の2つの手法を用いて、PLM表現をプローブする。
• 文脈的表現上に二値分類器を訓練し、比喩的かどうかを予測する。精度と抽出可能性を測定する。
• 1つの言語で訓練し、他の言語でテストする多言語プローブを実施する（例：英語→スペイン語、ロシア語、ペルシャ語）。
• 1つのデータセットで訓練し、他のデータセットでテストするクロスデータセットプローブを実施する（例：LCC→TroFi、VUA POS/動詞）、訓練サイズを固定（3,838）。
• ゼロショット転移評価のため、多言語PLM（XLM-R）と単言語BERTを用いる。
• 階層ごとのパフォーマンスを分析し、比喩的知識を最も効果的にエンコードしている層を特定する。

実験結果

リサーチクエスチョン

• RQ1 事前学習言語モデルは、その文脈的表現に比喩的知識をエンコードしているか？
• RQ2 変換器アーキテクチャのどの階層に比喩的知識が顕著にエンコードされているか？
• RQ3 比喩検出の知識は、特にゼロショット設定において、異なる言語間でどの程度転送可能か？
• RQ4 アノテーションの一貫性が、PLMにおけるデータセット間一般化に与える影響はいかほどか？
• RQ5 トレーニングデータとテストデータの間の分布シフトがパフォーマンスに与える影響はどの程度か？

主な発見

• 比喩的知識は、事前学習言語モデルの中層にエンコードされており、ピークパフォーマンスがこれらの層で観察された。
• 比喩検出の多言語転送は高い正確性を示しており（例：英語→スペイン語で78.02%、英語→ペルシャ語で77.3%、英語→ロシア語で78.04%）、アノテーションが一貫している場合には強い一般化が見られた。
• クロスデータセット転送のパフォーマンスは、インハウスのパフォーマンスに比べて著しく低く、ほとんどの場合で13%以上の絶対的低下が見られた。特に、アノテーションガイドラインが異なる場合に顕著であった。
• 最も良いクロスデータセット転送は、VUA POSとVUA 動詞の間で達成され、それぞれ68.61%および67.15%の精度を示した。これは、類似したアノテーション手順と品詞カバレッジを持つためである。
• ランダムベースラインモデルは、分布外設定で54–64%の正確性を示しており、観察されたパフォーマンス向上がアノテーションバイアスではなく、学習された比喩的知識によるものであることを示唆している。
• 多言語転送とクロスデータセット転送のパフォーマンスの差は顕著であり、一部のケースでは多言語転送がクロスデータセット転送を10%以上上回った。これは、アノテーションの一貫性の重要性を強調している。