[論文レビュー] A Comparative Study of Lexical Substitution Approaches based on Neural Language Models

Nikolay Arefyev, Boris Sheludko+2 more|arXiv (Cornell University)|May 29, 2020

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿では、語彙的置換のための最先端のニューラル言語モデルおよびマスクされた言語モデル（BERT、ELMo、XLNet、context2vec）を大規模に比較分析する。ターゲット語の情報を組み込むことで性能が著しく向上することを示し、モデルの選択が生成される意味的関係（例：類義語、共下位語）に影響することを明らかにした。これにより、語の意味の誘導やデータ拡張などのNLP応用分野における実用的指針が得られる。

ABSTRACT

Lexical substitution in context is an extremely powerful technology that can be used as a backbone of various NLP applications, such as word sense induction, lexical relation extraction, data augmentation, etc. In this paper, we present a large-scale comparative study of popular neural language and masked language models (LMs and MLMs), such as context2vec, ELMo, BERT, XLNet, applied to the task of lexical substitution. We show that already competitive results achieved by SOTA LMs/MLMs can be further improved if information about the target word is injected properly, and compare several target injection methods. In addition, we provide analysis of the types of semantic relations between the target and substitutes generated by different models providing insights into what kind of words are really generated or given by annotators as substitutes.

研究の動機と目的

• 内在的ベンチマークを用いた、現代のニューラル言語モデル（BERT、ELMo、XLNet、context2vec）の語彙的置換性能を評価・比較すること。
• 異なるニューラル言語モデルが、ターゲット語と置換語の間で意味的関係（例：類義語、共下位語）をどのように生成するか、モデルおよび人間のアノテーターの両者について調査すること。
• ターゲット語の情報をモデル入力に組み込む影響が、置換品質および意味的関係の分布に与える影響を分析すること。
• 語彙的置換モデルが語の意味の誘導やテキストデータ拡張などの外在的タスクにおいて、どの程度有用であるかを評価すること。
• 下流NLP応用分野における望ましい意味的関係に応じて、適切なモデルを選択するための実用的ガイドラインを提供すること。

提案手法

• マスクド言語モデルと文脈依存埋め込みを用いて、fine-tuned BERT、ELMo、XLNet、context2vecモデルを語彙的置換に適応させた。
• ターゲット語の情報注入技術を適用し、ターゲット語を候補の置換語に置き換える方法や、文脈表現間の類似度を測る指標を用いた。
• 元の文と置換文の文脈依存埋め込みの間のコサイン類似度を用いて、候補置換語の順序付けを実施した。
• 語彙的関連性の向上とOOC（語彙外語）エラーの低減を目的に、事前学習済みの単語埋め込み（例：word2vec）とモデル出力を統合した。
• 解釈性を高めるために、インタラクティブなモデル選択および入力処理を可能にするグラフィカルユーザーインターフェースを開発した。
• 生成された置換語をWordNetのシングレットにマッピングし、意味的関係（類義語、上位語、共下位語など）を分類し、分布パターンを分析した。

実験結果

リサーチクエスチョン

• RQ1 BERT、ELMo、XLNet、context2vecは、内在的語彙的置換ベンチマークにおいて、どのように性能を比較できるか？
• RQ2 異なるニューラル言語モデルは、ターゲット語と置換語の間に、どのような種類の意味的関係（例：類義語、共下位語、上位語）を生成するか？
• RQ3 ターゲット語に関する情報を入力に組み込むことで、語彙的置換出力の品質および意味的整合性はどの程度向上するか？
• RQ4 語彙的置換モデルは、語の意味の誘導やデータ拡張などの外在的タスクにおいて、どの程度性能向上に寄与できるか？
• RQ5 人間のアノテーターによる置換語と、モデルが生成した置換語は、意味的関係タイプおよび正確性において、どのように比較できるか？

主な発見

• XLNetは、単語埋め込みと組み合わせた場合、BERTや他のモデルを上回る性能を示した。
• ターゲット語の情報を組み込むことで、置換品質が著しく向上し、OOCエラーが減少し、意味的整合性が向上した。
• BERTとXLNetは、単語埋め込みと組み合わせた場合、人間のアノテーターによるゴールスタンダードと同等の類義語および共下位語の割合を生成した。
• ターゲット語の情報が注入されていないモデル（例：context2vec、ELMo）は、OOC置換語が著しく多く、意味的関係が少ない傾向にあった。
• モデル出力と単語埋め込みの統合により、直接的な類義語および共下位語の割合が増加し、推移的関係やOOCの割合が減少した。
• 人間のアノテーターは、置換語の品詞タグ付けに誤りを犯しており（名詞15%、副詞25%）、これが関係分類に影響を与えた。これは意味的整合性の維持の難しさを示している。