[論文レビュー] Situating Sentence Embedders with Nearest Neighbor Overlap

Lucy H. Lin, Noah A. Smith|arXiv (Cornell University)|Sep 24, 2019

Topic Modeling参考文献 27被引用数 5

ひとこと要約

この論文では、コーパス全体における最近傍の重複度を測定することで、文埋め込みモデル同士をタスクに依存しない方法で比較する、最近傍重複（N2O）を導入する。N2Oは、BERTやGPTの埋め込みが意味的類似性行動において外れ値であることを明らかにし、サブワードモデリングやアveraging戦略が類似性アライメントに顕著な影響を与えることを示している。ELMoモデルは強力な並び替え語の検出能力を示している。

ABSTRACT

As distributed approaches to natural language semantics have developed and diversified, embedders for linguistic units larger than words have come to play an increasingly important role. To date, such embedders have been evaluated using benchmark tasks (e.g., GLUE) and linguistic probes. We propose a comparative approach, nearest neighbor overlap (N2O), that quantifies similarity between embedders in a task-agnostic manner. N2O requires only a collection of examples and is simple to understand: two embedders are more similar if, for the same set of inputs, there is greater overlap between the inputs' nearest neighbors. Though applicable to embedders of texts of any size, we focus on sentence embedders and use N2O to show the effects of different design choices and architectures.

研究の動機と目的

• アノテーションや下流タスクを必要とせず、コーパスベースのタスクに依存しない文埋め込みモデルの比較手法を開発すること。
• アーキテクチャの選択や学習目的が、文埋め込みモデルの意味的類似性行動にどのように影響を与えるかを理解すること。
• さまざまなコーパスサンプルおよびサイズに対して、最近傍重複が比較指標としてどれほど頑健であるかを評価すること。
• 最近傍探索を用いて、埋め込みモデルがコーパス内で並び替え語を信頼性を持って特定できるかを検討すること。
• 複数の埋め込みモデルにわたる安定的・不安定な最近傍を特定し、解釈性を向上させること。

提案手法

• N2Oは、大規模なアノテーションなしのコーパスから抽出したクエリ文に対して、2つの埋め込みモデルにおけるk個の最近傍の重複度を平均化して計算する。
• コーパスから抽出した各クエリ文について、それぞれの埋め込みモデルにおけるk個の最近傍を取得し、それらの近傍集合のジャカード係数を計算する。
• 最終的なN2Oスコアは、すべてのクエリにおける重複度の平均であり、[0,1]に正規化されており、1は完全な近傍集合の一致を示す。
• 評価には、Gigaword由来のコーパスを用いて、複数のアーキテクチャと学習手法を含む21種類の文埋め込みモデルにこの手法を適用した。
• 追加分析として、複数の埋め込みモデルにわたって一貫して得られる「安定な近傍」と、モデル間で不一致を示す「不安定な近傍」の特定を行い、ニードルインハヤ堆きん実験による並び替え語検出性能の評価も行った。
• サンプルサイズやクエリセットの変化に対しても本手法の頑健性を検証し、実世界の設定でも信頼性が保証されることを確認した。

実験結果

リサーチクエスチョン

• RQ1 実世界のコーパスにおいて、異なる文埋め込みモデルはどの程度最近傍行動に差を示すか？
• RQ2 サブワードモデリング、プーリング戦略、またはモデルタイプ（例：BERT対GPT）といったアーキテクチャの選択が、意味的類似性アライメントにどの程度影響を与えるか？
• RQ3 最近傍探索を用いた場合、文埋め込みモデルはコーパス内でどれほど並び替え語を的確に特定できるか？
• RQ4 どの文の近傍が複数の埋め込みモデルにわたって一貫して検出され、どの近傍がモデル固有のものか？
• RQ5 N2O指標は、さまざまなコーパスサンプルおよびサイズに対してどれほど頑健か？

主な発見

• ELMoモデル、特に大規模バージョンは、文の群れの中から並び替え語を特定する際、平均逆順位（MRR = 0.910）が最も高く達成された。
• BERTとGPTの平均化された埋め込みは、[CLS]トークンや最終トークンのものよりも並び替え語検出性能が高く、N2Oスコアの高さと整合的である。
• BERTとGPTモデルはN2O分析において外れ値と特定され、他の埋め込みモデルと比較して最近傍行動の類似性が著しく低いことが示された。
• サブワード情報の使用は、特にfastTextやELMoのようなモデルにおいて、埋め込みモデル間での最近傍行動の類似性を顕著に向上させた。
• 静的単語埋め込み（例：GloVe、Word2Vec）は、最近傍集合の類似性が高く、意味空間における強いアライメントを示している。
• N2O指標は、さまざまなサンプルサイズやクエリセットに対して頑健であり、比較評価に安定して適用可能であることが示された。