[論文レビュー] Using BERT for Word Sense Disambiguation

Jiaju Du, Fanchao Qi+1 more|arXiv (Cornell University)|Sep 18, 2019

Natural Language Processing Techniques参考文献 27被引用数 31

ひとこと要約

本稿では、BERTのファインチューニングを用いた意味あいまい性解消（WSD）の手法を提案する。文脈に依存する表現をBERTから得るとともに、語義定義を組み込むことで、希少語や未学習の多義語の性能を向上させる。提案手法のBERT-defモデルは、標準的な英語All-words WSDベンチマークで最先端の結果を達成し、従来手法比でF1スコアを5.2%向上させた。

ABSTRACT

Word Sense Disambiguation (WSD), which aims to identify the correct sense of a given polyseme, is a long-standing problem in NLP. In this paper, we propose to use BERT to extract better polyseme representations for WSD and explore several ways of combining BERT and the classifier. We also utilize sense definitions to train a unified classifier for all words, which enables the model to disambiguate unseen polysemes. Experiments show that our model achieves the state-of-the-art results on the standard English All-word WSD evaluation.

研究の動機と目的

• 意味あいまい性解消（WSD）という自然言語処理分野における長年の課題に対して、BERTをファインチューニングする有効性を検討すること。
• 語彙的データベースから得られる語義定義を活用することで、希少語や未学習の多義語に対するデータ不足の問題を緩和すること。
• 語義定義を用いた統合分類器を訓練することで、未学習の語のゼロショット解釈を可能にする。
• 複数のトークンに分かれる多義語トークンに対応するBERTの隠れ状態を統合する戦略を比較すること。
• BERTのような強力な事前学習言語モデルの文脈において、外部知識（語義定義）の影響を評価すること。

提案手法

• 標準データセットを用いてWSDタスクにBERTをファインチューニングし、従来の特徴工学的アプローチの代わりに文脈依存のBERT埋め込みを採用する。
• 平均化または最大プーリングを用いて、多語素トークンの多義語に該当するBERTの隠れ状態を統合し、固定長の文脈表現を形成する。
• [CLS]トークンの隠れ状態と多義語表現を連結することで、文全体の文脈を組み込む。
• 最終的な多義語表現から意味確率を予測するため、2層のMLP分類器を用いる。
• 別個のBERTエンコーダーを用いて語義定義を符号化し、意味ベクトルを作成することでモデルを強化し、希少語や未学習の意味への一般化性能を向上させる。
• すべての語に対して語義定義を用いた統合分類器を訓練することで、学習中に登場しなかった多義語のゼロショット解釈を可能にする。

実験結果

リサーチクエスチョン

• RQ1 WSDタスクにBERTをファインチューニングすることで、従来の最先端手法と比較して性能が著しく向上するか？
• RQ2 語彙的データベースからの語義定義を組み込むことで、特に希少語や未学習の多義語において一般化性能が向上するか？
• RQ3 BERTの隠れ状態を統合する方法（平均、最大、[CLS]との連結）のうち、WSDタスクで最も優れた性能を発揮するのはどれか？
• RQ4 品詞や語の頻度レベルごとのモデル性能はどのように変化するか？
• RQ5 BERTのような強力な事前学習モデルを用いる文脈において、外部知識（語義定義）の利点は依然として維持されるか？

主な発見

• BERT-defモデルは、英語All-words WSDベンチマーク全体で76.3%の最先端F1スコアを達成し、従来の最良モデルより5.2ポイント高い性能を示した。
• 訓練データに登場しない語（頻度0）では8ポイントの向上を示し、語義定義のおかげで強力なゼロショット一般化が実現していることが明らかになった。
• 語義定義の使用は、すべてのデータセットおよび品詞でF1スコアを向上させ、名詞と動詞で最も大きな向上を示した。全体のテストセットでは5.2%の向上が確認された。
• 多義語の隠れ状態の平均プーリングは最大プーリングと同等の性能を示したが、[CLS]ベクトルとの連結は関係のない文脈情報が混入するため性能が低下した。
• 低頻度語においても強力な性能を維持しており、文脈表現と語義定義の組み合わせがデータスパarsityを緩和していることが示唆された。
• アブレーションスタディの結果、語義定義は希少語の意味解釈において非常に有効であり、語の頻度が高くなるに従い性能向上の度合いが減少する傾向にあり、これは本手法がデータスパarsity問題に最も効果的に対処していることを示している。