[論文レビュー] Contextual Lensing of Universal Sentence Representations

Jamie Kiros|arXiv (Cornell University)|Feb 20, 2020

Topic Modeling参考文献 47被引用数 5

ひとこと要約

本論文では、文脈化された埋め込み（例：BERT）に学習可能な「レンズ」を適用することで、特定の文脈に最適化された固定長ベクトルを生成する、Contextual Lensingというフレームワークを提案する。このフレームワークは、並列データなしで多言語文脈一致タスクにおいて強力なゼロショット性能を達成し、低リソース言語においてLASERを上回り、並列データなしで言語系統の構造を捉えることができる。

ABSTRACT

What makes a universal sentence encoder universal? The notion of a generic encoder of text appears to be at odds with the inherent contextualization and non-permanence of language use in a dynamic world. However, mapping sentences into generic fixed-length vectors for downstream similarity and retrieval tasks has been fruitful, particularly for multilingual applications. How do we manage this dilemma? In this work we propose Contextual Lensing, a methodology for inducing context-oriented universal sentence vectors. We break the construction of universal sentence vectors into a core, variable length, sentence matrix representation equipped with an adaptable `lens' from which fixed-length vectors can be induced as a function of the lens context. We show that it is possible to focus notions of language similarity into a small number of lens parameters given a core universal matrix representation. For example, we demonstrate the ability to encode translation similarity of sentences across several languages into a single weight matrix, even when the core encoder has not seen parallel data.

研究の動機と目的

• 文の埋め込みの『普遍的』性質と言語意味の文脈依存的性質の間にある矛盾を解消すること。
• タスク固有の微調整なしに、特定の下流タスクの文脈に適応する固定長の文表現を可能にすること。
• 少数のレンズパラメータが、並列データなしでも、多言語類似性のような複雑な意味的関係を捉えることができることを示すこと。
• 自己教師あり事前学習に加えて文脈に適応したレンズを組み合わせることで、多様な言語とタスクにわたって強固で汎用的な文ベクトルが得られるかどうかを検討すること。

提案手法

• 本手法は、普遍的文表現を、文脈化エンコーダー（例：BERT や mBERT）から得られる可変長行列（コア）に分解する。
• 学習可能な「レンズ」——文脈にパrameter化された縮小演算子——が、コア行列を固定長のベクトル表現にマッピングする。
• レンズは、特定のタスク（例：NLI、翻訳順序付け）で教師あり微調整により学習され、レンズパラメータがタスクの文脈に適応する。
• 2種類のレンズタイプを評価：単純な線形層（Simple）とゲート付き畳み込み層（GatedConv）、両者とも文脈化されたトークン埋め込みに適用される。
• ゼロショット適応が可能：レンズパラメータは1つのタスク（例：NLI）で学習され、再トレーニングなしに別のタスク（例：翻訳一致）に適用可能。
• モデルは多言語文脈一致（Tatoeba）と言語系統クラスタリング（t-SNE可視化）で評価され、一部の設定では並列データが使用されていない。

実験結果

リサーチクエスチョン

• RQ1 固定サイズの文ベクトル表現を、普遍性を保ちつつ文脈に適応可能にすることができるか？
• RQ2 少数のレンズパラメータが、並列データなしでも多言語類似性のような複雑な意味的関係をどれだけ表現できるか？
• RQ3 1つのタスク（例：NLI）でレンズを学習することで、翻訳一致のような関連のないタスクにおいても優れたゼロショット性能が得られるか？
• RQ4 自己教師あり事前学習に加えて文脈に適応したレンズを組み合わせることで、並列データなしでも高レベルの言語的構造（例：言語系統）を捉えることができるか？

主な発見

• CL(mBERT; NLI)モデルは、112言語にわたるTatoebaデータセットで平均一致誤差11.7％を達成し、高リソース言語においてLASERの11.5％と同等の性能を示した。
• 並列データなしの低リソース言語において、提案手法はLASERを上回り、文脈化された埋め込みにレンズを適用することで低リソース環境でもより良い一般化性能を示した。
• 言語ベクトルのt-SNE可視化では、言語系統ごとの明確なクラスタリングが観察された。これは、言語系統のラベルや並列データにアクセスしていないにもかかわらず成立した。
• 文の埋め込みに基づくロジスティック回帰分類器は、CL(mBERT; NLI)を用いて言語識別を予測する際、23％の精度を達成した。これは、レンズが言語固有のバイアスを低減しつつ、構造的分離を維持していることを示唆している。
• 単一の重み行列で構成されるSimpleレンズは、より複雑なGatedConvレンズとほぼ同等の性能を示し、効果的な文脈的フォーカスには最小限のパラメータ化で十分であることを示した。
• 1億件の並列例を用いて翻訳順序付けで学習したモデル（CL(mBERT; 100M)）は、平均一致誤差10.2％を達成し、特定の言語系統においてLASERを上回り、スケーラビリティを示した。