[論文レビュー] In Search for Linear Relations in Sentence Embedding Spaces

Petra Baranċíková, Ondřej Bojar|arXiv (Cornell University)|Oct 8, 2019

Topic Modeling参考文献 22被引用数 6

ひとこと要約

この論文は、語の置換、形容詞の追加、標点の変更など、文に対する小さな制御された変更が、文埋め込み空間において一貫性があり解釈可能なベクトル差を生じるかどうかを調査している。SNLIおよびMultiNLIの文ペアを用いて、60の一般的な編集パターンを同定し、ELMo、InferSent、USE-Tなどのモデルがこれらの意味的編集を線形ベクトル操作として保存していることが判明した。これは、文埋め込みが言語的変更に対応する意味的な幾何的関係をエンコードしている可能性を示唆している。

ABSTRACT

We present an introductory investigation into continuous-space vector representations of sentences. We acquire pairs of very similar sentences differing only by a small alterations (such as change of a noun, adding an adjective, noun or punctuation) from datasets for natural language inference using a simple pattern method. We look into how such a small change within the sentence text affects its representation in the continuous space and how such alterations are reflected by some of the popular sentence embedding models. We found that vector differences of some embeddings actually reflect small changes within a sentence.

研究の動機と目的

• 文の埋め込み空間において、小さな体系的な文の変更が一貫したベクトル差を生じるかどうかを調査すること。
• 予測可能な文の埋め込みへの変化を引き起こす共通の文の編集パターンを同定・分類すること。
• 一般的な文埋め込みモデル（例：ELMo、InferSent、USE-T）が、ベクトル空間における線形操作を通じてこれらの変化を反映しているかどうかを評価すること。
• ベクトル空間操作を用いた制御された並び替えや文の意味的操作の可能性を評価すること。

提案手法

• SNLIおよびMultiNLIデータセットから、わずかなテクスト変更（例：語の置換、形容詞の追加）のみが加えられた文ペアを抽出した。
• 最長共通部分文字列を特定し、それを変数に置換することでパターンベースの方法を用い、60の異なる編集パターンを同定した。
• ELMo、InferSent、LASER、USE-Tを用いて文の埋め込みを計算し、ペaired文間のベクトル差を算出した。
• k-meansを用いて得られたベクトル差をクラスタリングし、類似した意味的操作のグループを特定した。
• 同じ編集パターンの複数のインスタンスにおいて、ベクトル差の幾何的整合性を分析した。
• 同じ編集タイプがデータセット全体で類似したベクトル差を生じる頻度を測定することで、これらのパターンの頑健性を評価した。

実験結果

リサーチクエスチョン

• RQ1 語の置換や形容詞の追加などの、小さな制御された文のテキスト変更（例：'man' → 'woman'）は、文埋め込み空間において一貫性があり解釈可能なベクトル差を生じるか？
• RQ2 性別置換、感情の変更、数の変更などの共通の言語的編集パターンは、埋め込み空間において信頼性高く線形操作として捉えられるか？
• RQ3 一般的な文埋め込みモデル（例：ELMo、InferSent、USE-T）は、他のモデルと比較して、これらの線形関係をどの程度よく保存しているか？
• RQ4 意味的編集によって誘発されるベクトル差が、操作の空間においてクラスタリングされているか？これは、言語的変換の構造的表現を示唆するか？

主な発見

• 同じ編集パターン（例：'man' → 'woman'）を持つ文ペア間のベクトル差は、複数のインスタンスにわたり一貫して類似しており、文埋め込みがこのような変更を線形操作としてエンコードしていることを示している。
• ELMo、InferSent、LASER、USE-Tはすべて、編集パターンの保存性が強く、特にELMoは1パターンあたり20回以上の出現において特に一貫した結果を示した。
• 性別置換（クラスタ6）、感情の変更（クラスタ3）、数の省略（クラスタ4）といった意味的タイプごとに、ベクトル差のクラスタが形成されており、操作の空間における構造的な幾何的組織が示された。
• 本手法により60の一般的な編集パターンが同定され、成功率は1/5から196/196まで変動し、'X woman Y → X man Y' や 'X young Y → X sad Y' といった一般的な編集では高い一貫性を示した。
• 'X -> X not Y' や 'X -> there is X' といったパターンのベクトル差は、一貫して小さく予測可能であり、埋め込み空間が文法的・意味的変更を反映していることを示している。
• 本研究は、文埋め込みがベクトル算術を用いて制御された意味的操作を可能にすることを示しており、並び替えやテキスト生成への応用の可能性を示している。