[論文レビュー] A comprehensive comparative evaluation and analysis of Distributional Semantic Models.

Alessandro Lenci, Magnus Sahlgren+3 more|arXiv (Cornell University)|May 20, 2021

Topic Modeling参考文献 61被引用数 6

ひとこと要約

本論文は、タスクベースのベンチマークと表象類似度分析（RSA）を用いて、静的および文脈依存の分散的意味モデルを包括的に評価している。静的DSMは、文脈外の意味的タスクにおいてBERTベースの文脈依存ベクトルを上回ることを発見した。また、RSAにより語の頻度および品詞が意味的表象に顕著に影響していることが明らかになった。

ABSTRACT

Distributional semantics has deeply changed in the last decades. First, predict models stole the thunder from traditional count ones, and more recently both of them were replaced in many NLP applications by contextualized vectors produced by Transformer neural language models. Although an extensive body of research has been devoted to Distributional Semantic Model (DSM) evaluation, we still lack a thorough comparison with respect to tested models, semantic tasks, and benchmark datasets. Moreover, previous work has mostly focused on task-driven evaluation, instead of exploring the differences between the way models represent the lexical semantic space. In this paper, we perform a comprehensive evaluation of type distributional vectors, either produced by static DSMs or obtained by averaging the contextualized vectors generated by BERT. First of all, we investigate the performance of embeddings in several semantic tasks, carrying out an in-depth statistical analysis to identify the major factors influencing the behavior of DSMs. The results show that i.) the alleged superiority of predict based models is more apparent than real, and surely not ubiquitous and ii.) static DSMs surpass contextualized representations in most out-of-context semantic tasks and datasets. Furthermore, we borrow from cognitive neuroscience the methodology of Representational Similarity Analysis (RSA) to inspect the semantic spaces generated by distributional models. RSA reveals important differences related to the frequency and part-of-speech of lexical items.

研究の動機と目的

• 分散的意味論における、異なる意味的タスクおよびデータセットを横断した包括的かつクロスモデル比較の不足を補うこと。
• 予測ベースのモデルが、多様な意味的評価において、従来のカウントベースのモデルを実際に上回っているかどうかを調査すること。
• BERTの文脈依存ベクトルを層を平均化することで生成し、静的DSMと比較してその性能を評価すること。
• タスクのパフォーマンスを超えて、分散的モデルが語彙的意味空間をどのように表象しているかの内在的差異を分析すること。
• 認知神経科学の表象類似度分析（RSA）を応用し、意味的表象に内在する構造的差異を解明すること。

提案手法

• 標準的なベンチマークデータセットを用いて、複数の意味的タスク（例：語の類似度、文の類似度）において広範な評価を実施すること。
• モデルタイプ、データセット、タスクの違いがDSMのパフォーマンスに与える影響を特定するための統計的分析を実施すること。
• 従来のカウントベースおよび予測ベースのモデル（例：Skip-gram、CBOW）を用いて静的分散的ベクトルを生成すること。
• BERTの文脈依存埋め込みを抽出し、層を平均化して静的と同等のベクトルを生成し、比較対象とする。
• 表象類似度分析（RSA）を用いて、異なるモデル間での意味的表象空間の幾何的構造を比較すること。
• 語の頻度および品詞を根拠としてRSAの結果を分析し、体系的な表象バイアスを特定すること。

実験結果

リサーチクエスチョン

• RQ1 予測ベースのモデルがカウントベースのモデルを上回る性能優位性は、異なる意味的タスクおよびデータセットにおいて一貫して成立するか？
• RQ2 静的分散的意味モデルと平均化されたBERTの文脈依存ベクトルは、文脈外の意味的評価においてどのように比較されるか？
• RQ3 表象類似度分析（RSA）によって明らかにされた、異なるDSMが生成する意味的表象空間の構造的差異は何か？
• RQ4 語の頻度および品詞は、分散的モデルにおける表象類似度にどの程度影響を及えるか？
• RQ5 文脈依存モデルの利点は真に普遍的であるのか、それとも特定のタイプの意味的タスクに限定的であるのか？

主な発見

• 予測ベースのモデルがカウントベースのモデルを上回るという優位性は、実態よりも顕著に見えているにすぎず、すべてのタスクおよびデータセットに普遍的に適用できるわけではない。
• 静的分散的意味モデルは、文脈外の意味的タスクにおいて、平均化されたBERTの文脈依存ベクトルを一貫して上回る。
• 表象類似度分析（RSA）により、語の頻度および品詞に関連する体系的な意味的表象空間の構造的差異が明らかになった。
• 高頻度語および内容語（例：名詞、動詞）は、モデル間でより強い表象整合性を示しており、語彙的頻度に共通の感受性があることを示している。
• 品詞カテゴリは明確な表象パターンを示しており、内容語は機能語と比較して、意味的表象空間においてより一貫性のあるクラスタを形成している。
• 構造的に洗練された文脈依存表現であっても、平均化された静的ベクトルに変換された場合、標準的な意味的類似度タスクにおけるパフォーマンスを普遍的に向上させるわけではない。