[論文レビュー] Sentence Analogies: Exploring Linguistic Relationships and Regularities in Sentence Embeddings

Xunjie Zhu, Gerard de Melo|arXiv (Cornell University)|Mar 9, 2020

Topic Modeling参考文献 36被引用数 8

ひとこと要約

この論文は、文埋め込み空間内の規則性を評価するための文アナロジー・データセットを導入し、語彙的アナロジーと意味的関係に基づく評価スキームを提案する。シンプルなモデル（DCT や GloVe）が、BERT スタイルの複雑なモデルよりもアナロジー規則性を捉える上でしばしば優れていることが判明し、大規模な文脈依存埋め込みの優位性に関する仮定に疑問を呈する。

ABSTRACT

While important properties of word vector representations have been studied extensively, far less is known about the properties of sentence vector representations. Word vectors are often evaluated by assessing to what degree they exhibit regularities with regard to relationships of the sort considered in word analogies. In this paper, we investigate to what extent commonly used sentence vector representation spaces as well reflect certain kinds of regularities. We propose a number of schemes to induce evaluation data, based on lexical analogy data as well as semantic relationships between sentences. Our experiments consider a wide range of sentence embedding methods, including ones based on BERT-style contextual embeddings. We find that different models differ substantially in their ability to reflect such regularities.

研究の動機と目的

• 文埋め込み空間が単語ベクトル空間で観察されるものと類似した規則性を示すかどうかを調査すること。
• 文の間の語彙的および意味的関係に基づいて、文アナロジー用の新しい評価データセットを開発すること。
• BERT スタイルのモデルを含む多様な文埋め込み手法が、これらのアナロジー課題でどの程度のパフォーマンスを示すかを評価すること。
• モデルの容量の増加や NLI データへのファインチューニングが、文埋め込みにおけるアナロジー推論能力を向上させるかどうかを特定すること。

提案手法

• 単語アナロジーのパターンを文レベルの関係に適応することで、文アナロジー・データセットを生成するフレームワークを提案する。
• 語彙的アナロジー・パターン（例：「A は B に対して、C は D に対して」）を用い、既存の単語アナロジー・データセットからの文のペアに基づいて文アナロジーを構築する。
• 帰結や否定などの意味的関係タイプを適用して文アナロジーを定義し、専用の評価セットを生成する。
• コサイン類似度を用いたベクトル演算でアナロジーを解く：argmax_D sim(v_D, v_B - v_A + v_C)，ただし A, B, C を除く。
• 3 種類のアナロジー型（語彙的、帰結、否定）に対して、16 種類の文埋め込みモデルを評価する。
• 予測された文埋め込みとターゲット文埋め込みの類似度を計算するために、3CosAdd および 3CosMul をスコア関数として用いる。

実験結果

リサーチクエスチョン

• RQ1 文埋め込み空間は、単語ベクトル空間で観察されるものと類似した規則性を示すものか、特にアナロジー課題においてはいかがなものか？
• RQ2 特に BERT スタイルのモデルを含む、さまざまな文埋め込みモデルは文アナロジー課題でどの程度のパフォーマンスを示すか？
• RQ3 NLI データへのファインチューニングは、モデルが文埋め込みにおけるアナロジー的関係を捉える能力を向上させるか？
• RQ4 DCT や単語ベクトル平均のようなシンプルなモデルは、複雑なニューラルアーキテクチャーよりもアナロジー推論において優れているか？
• RQ5 モデルのサイズやアーキテクチャの複雑さは、文アナロジー課題におけるパフォーマンスとどの程度相関しているか？

主な発見

• RoBERTa-Base-CLS は帰結アナロジー課題で最高の正答率（0.8703）を記録し、RoBERTa-Large でさえもそれを上回った。
• BERT-Large-AVG は帰結課題で 0.6896 の正答率を示し、非文脈的平均モデルであるにもかかわらず強力なパフォーマンスを示した。
• k=6 の DCT モデルは帰結課題で 0.6667 の正答率を達成し、多くの複雑なモデルを上回った。
• NLI データでファインチューニングされたモデル（例：SBERT, SRoBERTa）は否定アナロジーで著しく劣り、否定されていない形と正しい答えを混同する傾向にあった。
• GloVe や単語ベクトル平均は、帰結および否定課題で著しく劣り、特にランダムマスキング条件下で顕著だった。
• 驚くべきことに、DCT や GloVe のようなシンプルなモデルが、SBERT や XLNet のようなより複雑なモデルよりも、アナロジー規則性を捉える上でしばしば優れていた。