[論文レビュー] WiC: the Word-in-Context Dataset for Evaluating Context-Sensitive Meaning Representations

Mohammad Taher Pilehvar, José Camacho-Collados|arXiv (Cornell University)|Aug 28, 2018

Topic Modeling参考文献 26被引用数 92

ひとこと要約

WiC は、文脈依存の語義を対象とした、大規模で専門家による注釈付きの二値分類ベンチマークを導入し、文脈化表現および意味ベースの表現の評価を可能にする。先端モデルと人間の性能のギャップを浮き彫りにする。

ABSTRACT

By design, word embeddings are unable to model the dynamic nature of words' semantics, i.e., the property of words to correspond to potentially different meanings. To address this limitation, dozens of specialized meaning representation techniques such as sense or contextualized embeddings have been proposed. However, despite the popularity of research on this topic, very few evaluation benchmarks exist that specifically focus on the dynamic semantics of words. In this paper we show that existing models have surpassed the performance ceiling of the standard evaluation dataset for the purpose, i.e., Stanford Contextual Word Similarity, and highlight its shortcomings. To address the lack of a suitable benchmark, we put forward a large-scale Word in Context dataset, called WiC, based on annotations curated by experts, for generic evaluation of context-sensitive representations. WiC is released in https://pilehvar.github.io/wic/.

研究の動機と目的

• 静的な埋め込みを超えた動的な語義を重点的に扱うベンチマークの必要性を動機づける。
• 文脈依存表現の一般的評価のための高品質で大規模なデータセット（WiC）を作成する。
• 多様なターゲット語と文脈を含む、バランスの取れた train/dev/test の分割を提供する。
• WiC ベンチマーク上で、文脈化表現とマルチプロトタイプ埋め込みモデルの範囲を評価する。
• モデルの長所・限界および人間の上限性能に関する洞察を提供する。

提案手法

• WordNet、Wiktionary、VerbNet からターゲット語の文脈対を抽出し、BabelNet を介して跨リソースのカバレッジを実現して WiC を構築する。
• WordNet の語義を刈り込み（精緻な区別を減らし） semantic clarity を向上させる。
• 半自動的なポスト処理と品質確認を実施し、サンプルに対する人手による注釈を含めて人間の上限性能を推定する。
• Context2vec、ELMo、BERT 系の文脈化モデルおよび DeConf、SW2V、JBT のマルチプロトタイプモデルを、BoW、Sentence LSTM といった単純なベースラインと比較し、二値分類（同じ意味かどうか）で評価する。
• 複数回の実行での精度を報告し、人間の上限（約80%）との直接比較を提供する。
• 最終分類には単純なしきい値手法または MLP を使用し、しきい値ベースのアプローチがしばしば効率性の点で有利であることを指摘する。

実験結果

リサーチクエスチョン

• RQ1 文脈依存の語の表現は、同じターゲット語の異なる出現が文脈を跨いで同じ意味を共有しているかを正しく区別できるか？
• RQ2 動的意味論のために設計された高品質で言語非依存のベンチマークにおいて、現代の文脈化表現とマルチプロトタイプ埋め込みはどの程度性能を発揮するか？
• RQ3 WiC におけるモデルの性能と人間レベルの理解との差はどれくらいか、そしてこれが今後の研究に対して何を意味するか？
• RQ4 pruning とデータセット構築の選択（例: supersense の粗化）が、文脈依存表現の意味の明瞭さと評価可能性を向上させるか？
• RQ5 WiC に最も効果的なモデル系はどれであり、これらの結果は意味表現における現在の文脈アプローチについて何を示しているか？

主な発見

モデル	MLP	閾値
Context2vec	57.9 ± 0.9	59.3
ElMo 1	56.4 ± 0.6	57.7
ElMo 3	57.2 ± 0.8	56.5
BERT base	60.2 ± 0.4	65.4
BERT large	57.4 ± 1.0	65.5
DeConf*	52.4 ± 0.8	58.7
SW2V*	54.1 ± 0.5	58.1
JBT	54.1 ± 0.6	53.6
BoW	54.2 ± 1.3	58.7
Sentence LSTM	53.1 ± 0.9

• WiC はすべてのモデルにとって難しい。最良のモデル（BERT large）はランダムベースラインより約15.5ポイント高い。
• BERT などの文脈化モデルは評価された手法の中で最も高い性能を示すが、なお人間の上限（約80%）には大きく及ばない。
• Context2vec と ELMo は多くのケースで簡単な BoW ベースラインに対して限られた改善しか示さず、微細な意味の区別を捉える難しさを強調している。
• DeConf（マルチプロトタイプ）と SW2V は語義レベルの情報の恩恵を受け、評価対象の中で DeConf が最も高く評価されているが、人間と同等にはまだ遠い。
• テストペアの substantial portion が一部モデルでカバーされていないターゲット語を含んでおり、現実的なOOD問題を示している。
• 刈り込み戦略はデータセットの明晰さを著しく改善し、刈り込みsubsetで annotator の合意と人間の正確度が向上していると示される。