[論文レビュー] Does BERT Make Any Sense? Interpretable Word Sense Disambiguation with Contextualized Embeddings

Gregor Wiedemann, Steffen Remus+2 more|arXiv (Cornell University)|Sep 23, 2019

Natural Language Processing Techniques参考文献 37被引用数 121

ひとこと要約

本論文は、文脈化された単語埋め込みが、単純な kNN アプローチを介して効果的な語義弁別を可能にすることを示しており、BERT が語彙的サンプル WSD データセットで新しい最先端を達成し、埋め込み空間で意味のクラスタリングを明らかにしている。

ABSTRACT

Contextualized word embeddings (CWE) such as provided by ELMo (Peters et al., 2018), Flair NLP (Akbik et al., 2018), or BERT (Devlin et al., 2019) are a major recent innovation in NLP. CWEs provide semantic vector representations of words depending on their respective context. Their advantage over static word embeddings has been shown for a number of tasks, such as text classification, sequence tagging, or machine translation. Since vectors of the same word type can vary depending on the respective context, they implicitly provide a model for word sense disambiguation (WSD). We introduce a simple but effective approach to WSD using a nearest neighbor classification on CWEs. We compare the performance of different CWE models for the task and can report improvements above the current state of the art for two standard WSD benchmark datasets. We further show that the pre-trained BERT model is able to place polysemic words into distinct 'sense' regions of the embedding space, while ELMo and Flair NLP do not seem to possess this ability.

研究の動機と目的

• 文脈化語彙埋め込み（CWE）をテストベッドとして語義弁別を動機づける。
• Flair、ELMo、BERT など、さまざまなモデルで CWE が語義をどのように符号化するかを評価する。
• 単純で解釈可能な kNN ベースの WSD 手法をテストして、近接性に基づく意味区別を評価する。
• WSD の性能に対するデータセットの影響（SE-2、SE-3、S7-T7、S7-T17）を調査する。
• CWE が埋め込み空間で語義を separable な領域に配置するタイミングを定性的に分析する。

提案手法

• CWE ベクトル上で単純な k 最近傍分類器を用いて WSD を実行する（トレーニング語義を局所的に用いる kNN）。
• 対象語をレマベースのベクトルで表現する：BERT の場合、語をターゲットとする際にワードピース CWEs を平均化したベクトル、他のモデルの場合は標準的な CWE ベクトル。
• BERT の場合、ターゲットトークンの最後の4 層のワードピースベクトルの平均を連結する。
• k を広い範囲で変化させ、語義頻度の不均衡を処理する正規化を適用する（k' = min(k, 語義の例数)。
• 3 つの CWE モデル（Flair、ELMo、BERT）を 4 つの標準 WSD データセット（SE-2、SE-3、S7-T7、S7-T17）と 2 つの訓練コーパス（SemCor、WNGT）で比較する。
• 語義クラスタの t-SNE 可視化や誤り分析を含む定性的分析を提供する。

実験結果

リサーチクエスチョン

• RQ1 文脈化埋め込みを用いた単純な非パラメトリック分類器で、WSD を効果的に実現できるか。
• RQ2 異なる CWE モデル（Flair、ELMo、BERT）は埋め込み空間で語義を異なるように整理するか。
• RQ3 標準ベンチマークでトレーニングデータのまばらさが kNN ベースの WSD の性能にどう影響するか。
• RQ4 BERT は ELMo や Flair と比較して、語義の多義性を埋め込み空間で separable な領域にどの程度置けるか。
• RQ5 POS ラベル付き語義に制限することは、全語彙タスクの WSD 精度を改善するか。

主な発見

• BERT ベースの CWE は SE-2、SE-3、S7-T7 のタスクで 3 モデルの中で最良の WSD パフォーマンスを達成（SE-2 および SE-3 の前例の最先端に顕著な改善を含む）。
• kNN WSD は、BERT 埋め込みの語義領域が ELMo や Flair よりも separable であることを示し、可視化のクラスタリングと近接近傍精度の向上で裏付けられる。
• 全語彙タスク（ S7-T7、S7-T17 ）ではデータのまばらさとトレーニングデータ（SemCor/WNGT）とテストデータのドメイン不一致のため性能が低下する。
• POS 制限（lemma+POS）バリアントは S7-T7 および S7-T17 の F1 を改善し、不均衡データセットでの形態文法カテゴリの制約が語義弁別に有益であることを示す。
• k を増加させると結果が安定化し、BERT 埋め込みと組み合わせると語彙サンプルタスクで最先端の結果を得られる可能性がある。
• 定性的な誤り分析では、近似 miss がしばしば細粒度の動詞語義や品詞間混乱によって発生するが、POS 制限はそのような誤りを減らすのに役立つ。