[論文レビュー] Language Models and Word Sense Disambiguation: An Overview and Analysis.

Daniel Loureiro, Kiamehr Rezaee+2 more|arXiv (Cornell University)|Aug 26, 2020

Topic Modeling参考文献 115被引用数 6

ひとこと要約

本論文は、BERTが文脈に依存する意味的ニュアンスの違いを捉える能力について、語義解釈（WSD）における包括的な分析を提供している。限られた学習データでも、BERTが高レベルの意味的違いを効果的に処理できること、および特徴抽出が感度バイアスに対してより頑健で、データ効率性に優れていることを見出している。

ABSTRACT

Transformer-based language models have taken many fields in NLP by storm. BERT and its derivatives dominate most of the existing evaluation benchmarks, including those for Word Sense Disambiguation (WSD), thanks to their ability in capturing context-sensitive semantic nuances. However, there is still little knowledge about their capabilities and potential limitations for encoding and recovering word senses. In this article, we provide an in-depth quantitative and qualitative analysis of the celebrated BERT model with respect to lexical ambiguity. One of the main conclusions of our analysis is that BERT performs a decent job in capturing high-level sense distinctions, even when a limited number of examples is available for each word sense. Our analysis also reveals that in some cases language models come close to solving coarse-grained noun disambiguation under ideal conditions in terms of availability of training data and computing resources. However, this scenario rarely occurs in real-world settings and, hence, many practical challenges remain even in the coarse-grained setting. We also perform an in-depth comparison of the two main language model based WSD strategies, i.e., fine-tuning and feature extraction, finding that the latter approach is more robust with respect to sense bias and it can better exploit limited available training data.

研究の動機と目的

• トランスフォーマーに基づく言語モデル（例：BERT）が、文脈における語の意味を効果的に捉え復元できるかを調査すること。
• 異なるデータおよびリソース条件下での、粗粒度および細粒度の語義解釈（WSD）におけるBERTのパフォーマンスを評価すること。
• 主なWSD戦略（ファインチューニングと特徴抽出）の有効性を、低データおよびバイアスがかかる意味の状況において比較すること。
• 理想的な条件下では優れたパフォーマンスを示すが、実世界のWSDタスクへの適用には依然として重要な制限や実務的課題が残っていることの特定。

提案手法

• 本研究は、複数の語義解釈タスクにおいて、曖昧語の文脈的表現に対するBERTの定量的および定性的分析を実施している。
• 制御された設定下で、変動する学習データ量および計算リソースを用いて、粗粒度名詞の語義解釈に対する性能を評価している。
• 著者らは、2つのWSD戦略を比較している：下流のWSDタスクでBERTをファインチューニングすることと、文脈的埋め込みを特徴として抽出して下流分類器に使用すること。
• 不均衡な学習データ分布下でのモデル挙動を分析することで、感度バイアスに対する感受性を評価している。
• BERTが意味的違いをどのようにエンコードしているかを理解するために、注意メカニズムのパターンと表現クラスタリングの定性的な検査を含んでいる。

実験結果

リサーチクエスチョン

• RQ1 限られた学習例しか利用できない状況下で、BERTは高レベルの意味的違いをどれくらい効果的に捉えることができるか？
• RQ2 十分なデータとリソースがある理想的な条件下で、BERTは粗粒度名詞の語義解釈にどの程度効果的に機能するか？
• RQ3 低データおよびバイアスがかかる意味の状況下で、ファインチューニングと特徴抽出の相対的な長所と短所は何か？
• RQ4 制御された設定下では優れたパフォーマンスを示すが、実世界のWSD応用においても依然として残存する実務的制限は何か？

主な発見

• BERTは、1語の意味ごとに限られた数の例しか利用できない状況下でも、高レベルの意味的違いを効果的に捉えている。
• 十分なデータとリソースがある理想的な条件下では、BERTは粗粒度名詞の語義解釈タスクにほぼ到達している。
• しかし、このような理想的な条件は実際には稀であり、粗粒度の状況下でも多くの実世界の課題が依然として残っている。
• 特徴抽出は、感度バイアスに対してファインチューニングよりも頑健であり、限られた学習データをより効果的に活用している。