[論文レビュー] Neural Metaphor Detection in Context

Ge Gao, Eunsol Choi+2 more|arXiv (Cornell University)|Aug 29, 2018

Language, Metaphor, and Cognition被引用数 7

ひとこと要約

本稿では、文脈付き単語埋め込み（ELMo）を用いた双方向LSTMに基づくエンドツーエンドのニューラルモデルを提案し、文脈における隠喩の検出を目的としている。これらのモデルは、複数のベンチマークで最先端の性能を達成しており、VUA動詞分類タスクにおいてF1スコアを最大7.5ポイント向上させ、全文の文脈が限定的な言語的入力よりも隠喩検出を顕著に向上させることを示している。

ABSTRACT

We present end-to-end neural models for detecting metaphorical word use in context. We show that relatively standard BiLSTM models which operate on complete sentences work well in this setting, in comparison to previous work that used more restricted forms of linguistic context. These models establish a new state-of-the-art on existing verb metaphor detection benchmarks, and show strong performance on jointly predicting the metaphoricity of all words in a running text.

研究の動機と目的

• SVOトリプルのような制限された言語的入力ではなく、全文の文脈を活用することで、隠喩検出を改善すること。
• 深層ニューラルネットワークと文脈に依存する表現を用いることで、比喩的言語における文脈的推論の課題に取り組むこと。
• 隠喩検出におけるシーケンスラベル付けと分類アプローチを比較し、その相対的な性能と一般化能力を評価すること。
• 失敗事例を分析し、間接的隠喩、擬人化、境界ケースに対する未解決の課題を特定すること。

提案手法

• 全文を符号化するための双方向LSTMを用い、各単語の長距離依存関係と文脈的手がかりを捉える。
• 事前学習済みの単語埋め込みとELMoの文脈に依存する埋め込みを組み合わせることで、語の意味のあいまいさ解消と隠喩検出を向上させる。
• シーケンスラベル付けのため、LSTMの隠れ状態を用いて各単語の比喩性を予測する全結合ネットワークを適用する。
• 動詞分類のため、ターゲット動詞に注目するためのインデックス埋め込みとアテンションメカニズムを導入しつつ、文脈を保持する。
• アノテーションのない単語を直訳的とみなすことで、完全なアノテーションを必要とせず、シーケンスラベル付けのタスクを簡素化する。
• ゴールラベルの対数尤度を最適化することで、隠喩検出タスクにおけるエンドツーエンドの学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 全文の文脈を活用するエンドツーエンドのニューラルモデルは、SVOトリプルのような制限された言語的入力に依存する従来手法を上回ることができるか？
• RQ2 全文のすべての単語に対して比喩性を予測するシーケンスラベル付けは、動詞分類よりも一般化性能が優れているか？
• RQ3 ELMoのような文脈に依存する単語埋め込みは、静的単語埋め込みと比較して、どのように隠喩検出を改善するか？
• RQ4 現在のモデルが最も困難に感じるのはどのような比喩的表現であり、その理由は何か？
• RQ5 モデルの誤りは、曖昧または境界ケース、長距離依存関係、または暗黙の主語に起因する程度はどの程度か？

主な発見

• 提案されたELMo埋め込みを用いたBiLSTMモデルは、VUA動詞分類ベンチマークで新たな最先端性能を達成し、F1スコアを7.5ポイント向上させた。
• 同じ分類タスクで評価しても、シーケンスラベル付けモデルが分類モデルを上回った。これは、全単語の同時予測による利点を示している。
• 誤検出の多くは、暗黙の主語（31％）や長距離依存関係（15％）に起因しており、誤検出はしばしば間接的隠喩（33％）や擬人化に起因する。
• 分類のみのベースラインと比較して、モデルは擬人化や間接的隠喩の検出においてより優れた性能を示した。
• 誤検出の約半数と誤検出の20％が境界ケースであり、隠喩アノテーションの主観的性質を示している。
• 誤り分析から、モデルは特に核心的な主語が明示的に述べられていない場合に、深い文脈的推論を要する隠喩に対して最も苦労することがわかった。