[論文レビュー] A Comprehensive Comparison of Word Embeddings in Event & Entity Coreference Resolution.

Judicaël Poumay, Ashwin Ittoo|arXiv (Cornell University)|Nov 1, 2021

Topic Modeling参考文献 29被引用数 2

ひとこと要約

本研究では、イベントコアリゾリューションおよびエンティティコアリゾリューションにおいて、静的、文脈的、文字レベルの埋め込みを評価し、最先端のモデルフレームワークを用いて検証した。結果として、文字埋め込みのみを用いたモデルは、ELMo、GloVe、および文字埋め込みを併用したフルモデルの86%の性能を達成した一方で、サイズはその1.2%にとどまり、ELMoは両タスクにおいてBERTおよびGPT-2を上回った。また、GloVeとFastTextはそれぞれの埋め込みファミリーで最良の性能を示した。

ABSTRACT

Coreference Resolution is an important NLP task and most state-of-the-art methods rely on word embeddings for word representation. However, one issue that has been largely overlooked in literature is that of comparing the performance of different embeddings across and within families in this task. Therefore, we frame our study in the context of Event and Entity Coreference Resolution (EvCR & EnCR), and address two questions : 1) Is there a trade-off between performance (predictive & run-time) and embedding size? 2) How do the embeddings' performance compare within and across families? Our experiments reveal several interesting findings. First, we observe diminishing returns in performance with respect to embedding size. E.g. a model using solely a character embedding achieves 86% of the performance of the largest model (Elmo, GloVe, Character) while being 1.2% of its size. Second, the larger model using multiple embeddings learns faster overall despite being slower per epoch. However, it is still slower at test time. Finally, Elmo performs best on both EvCR and EnCR, while GloVe and FastText perform best in EvCR and EnCR respectively.

研究の動機と目的

• コアリゾリューションにおけるモデルの性能（予測性能および実行時間）と埋め込みサイズのトレードオフを調査すること。
• 静的、文脈的、文字レベルの埋め込みファミリー内および間での単語埋め込みの予測性能を比較すること。
• より大規模で表現力の高い埋め込みが一貫して性能を向上させるのか、あるいはより小さな代替手法が同等またはそれを上回る性能を達成できるのかを評価すること。
• 実世界の応用において、効率的で高精度なコアリゾリューションシステムを導入するための実用的知見を提供すること。

提案手法

• 実験は、Barhomら（2019）が提唱した最先端のコアリゾリューションモデルをベースフレームワークとして用いた。
• 静的埋め込み（GloVe、FastText、Word2Vec）、文脈的埋め込み（ELMo、BERT、GPT-2）、文字埋め込みの組み合わせを変化させることで、合計16種の異なるモデルを訓練した。
• 予測性能は、EvCRおよびEnCRの両タスクにおいてECB+およびEventCorefBank+データセットを用いてF1スコアで評価した。
• 効率性のトレードオフを評価するために、モデルサイズ、学習時間、推論速度、メモリ使用量を測定した。
• アブレーションスタディにより、各埋め込みタイプの貢献度を、単体での使用および組み合わせでの使用の両方で分離して分析した。
• 追加の埋め込みを含める・含めないを変化させた実験により、限界的利得と限界効果の低下を評価した。

実験結果

リサーチクエスチョン

• RQ1 コアリゾリューションにおいて、予測性能と実行時間効率が埋め込みサイズのトレードオフを示すか？
• RQ2 同じファミリー内（例：GloVe vs. FastText vs. Word2Vec）で、異なる埋め込みの性能はEvCRおよびEnCRにおいてどのように異なるか？
• RQ3 静的、文脈的、文字レベルの埋め込みファミリー間で、予測性能および効率性の観点から、埋め込みの性能はどのように比較できるか？
• RQ4 複数の埋め込みを組み合わせることで顕著な性能向上が得られるか、それとも追加するたびに利得が減少するか？
• RQ5 文字埋め込みのみを用いたモデルが、より大規模で複数の埋め込みを併用したモデルと同等の性能を達成できるか？

主な発見

• 文字埋め込みのみを用いたモデルは、ELMo、GloVe、および文字埋め込みを併用したフルモデルのF1スコアの86%を達成したが、サイズはその1.2%にとどまった。
• 最小のモデル（文字埋め込みのみ）は、サイズがその4%にとどまるにもかかわらず、Word2Vecのみのモデルよりも約10 F1ポイント優れていた。
• フルモデルはサイズが大きく、より複雑であるにもかかわらず、全体として21%速く学習が終了した（14エポック vs. 24エポック）ことから、サイズと学習時間の間に弱い相関関係があると示された。
• ELMoはEvCRおよびEnCRの両タスクでBERTおよびGPT-2を上回ったが、これはEnCRにおいてBERTがELMoを上回るとの先行研究の結果と矛盾する。
• 静的埋め込みの中で、EvCRではGloVeが最も高い性能を示したが、EnCRではFastTextが静的埋め込みの中で最良の性能を示した。
• 複数の埋め込みを追加することで、予測性能の向上は次第に減少し、限界効果が顕著に現れた。これは、より大きなモデルが比例的に精度を向上させないことを示している。