[論文レビュー] Unsupervised Lexical Substitution with Decontextualised Embeddings

Takashi Wada, Timothy Baldwin+2 more|arXiv (Cornell University)|Sep 17, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、目的語の文脈的埋め込みと複数の文脈における平均化された非文脈的埋め込みの間のコサイン類似度を用いて同義語を検索する、教師なしの語彙置換手法を提案する。この手法は、英語およびイタリア語において強力なベースラインを上回り、特に低頻度語において優れた性能を示す。さらに、微調整や明示的教師信号を用いずに、形態句法的バイアスを低減する。

ABSTRACT

We propose a new unsupervised method for lexical substitution using pre-trained language models. Compared to previous approaches that use the generative capability of language models to predict substitutes, our method retrieves substitutes based on the similarity of contextualised and decontextualised word embeddings, i.e. the average contextual representation of a word in multiple contexts. We conduct experiments in English and Italian, and show that our method substantially outperforms strong baselines and establishes a new state-of-the-art without any explicit supervision or fine-tuning. We further show that our method performs particularly well at predicting low-frequency substitutes, and also generates a diverse list of substitute candidates, reducing morphophonetic or morphosyntactic biases induced by article-noun agreement.

研究の動機と目的

• 生成的言語モデルアプローチにおける語彙置換の限界、例えば低頻度語における性能の低さや文脈に起因する形態句法的バイアスを是正すること。
• 微調整や明示的教師信号を一切用いずに、事前学習済みモデルを活用する完全教師なし手法の開発。
• 複数の文脈からの平均化された非文脈的語彙埋め込みを用いて、同義語検索の性能を向上させること。
• 英語およびイタリア語における記事–名詞一致や音声形態的制約に起因するバイアスを低減すること。
• 最小限のアーキテクチャ的変更で、英語およびイタリア語における語彙置換の最先端の性能を示すこと。

提案手法

• 本手法は、事前学習済みトランスフォーマーモデル（例：BERT）を用いて、文脈内の目的語の文脈的表現を計算し、特定の層にわたる表現を合算して f(x,c) を形成する。
• 候補置換語 y に対して、モノリンガルコーパス内の N 個の文から得られるその文脈的表現の平均を用いて非文脈的埋め込み f(y) を計算する。
• 候補置換語は、f(x,c) と f(y) の間のコサイン類似度により順序付けられ、式 S(y|x,c) = cos(f(y), f(x,c)) を用いる。
• 多義語の処理のため、y を含む N 個の文を、埋め込みの類似度に基づいて K クラスタにグループ化し、各クラスタごとに別々の非文脈的埋め込み f^k(y) を計算する。
• サブワード分割された低頻度語を含むカスタム語彙 Ṽ のすべての語に対して f(y) を事前計算することで、OOV 語の置換を可能にする。
• 重み付き結合ではなく、層の集約（層にわたる合算）を用いる。これは重み付き結合よりも顕著な向上が見られなかったためである。

実験結果

リサーチクエスチョン

• RQ1 文脈的埋め込みの類似度に基づく完全教師なし手法が、微調整なしに生成的アプローチを上回る性能を発揮できるか？
• RQ2 非文脈的埋め込みを用いることで、マスキング言語モデルによる生成と比較して、低頻度語や OOV 語の性能が向上するか？
• RQ3 英語およびイタリア語における記事–名詞一致に起因するバイアスは、どの程度低減されるか？
• RQ4 異なるトランスフォーマーレイヤー間での性能はどのように変化するか？また、語彙置換に最適な表現を提供するのはどのレイヤーか？
• RQ5 語の多義的意味のクラスタリングを用いることで、多義語語彙の同義語検索性能は向上するか？

主な発見

• 提案手法は、微調整や明示的教師信号を一切用いずに、英語およびイタリア語の語彙置換ベンチマークで新たな最先端性能を達成した。
• SWORDS データセットにおいて、30,000 語の語彙を用いた場合、F1 スコアは 39.9 を記録し、BERT-K（30.4）および DeBERTa（39.9）を上回った。これは優れた一般化性能を示している。
• 30,000 語の語彙を用いた場合、本手法は BERT-K ベースラインと比較して、低頻度語（頻度 < 50,000）の置換候補をほぼ2倍に増加させた。
• 10,000 語の語彙を用いた場合でも、本手法は Fc スコアで BERT-K（32.6 対 28.1）を上回った。これは、語彙サイズが限定的であっても有効であることを確認した。
• 本手法は形態句法的バイアスを低減した。具体的には、前件の「an increase」のような記事に依存した過剰な依存（例：母音で始まる語に「an」を付ける）を回避し、より意味的に多様な置換語を生成した。
• 多義的意味クラスタリングを用いることで、性能がわずかに向上し、Fc スコアは K=1 時の 36.0 から K=8 時の 36.9 に上昇したが、K > 8 以降は増加が止まり、飽和した。