[논문 리뷰] A Comprehensive Comparison of Word Embeddings in Event & Entity Coreference Resolution.

Judicaël Poumay, Ashwin Ittoo|arXiv (Cornell University)|2021. 11. 01.

Topic Modeling참고 문헌 29인용 수 2

한 줄 요약

이 연구는 이벤트 및 엔티티 공명 해결에서 정적, 문맥적, 문자 유형의 워드 임베딩을 평가하며, 최신 기술 기반 모델 프레임워크를 사용한다. 연구 결과, 문자 임베딩만으로도 전체 모델(EMLo, GloVe, 문자 임베딩 사용)의 86% 성능을 달성하면서도 크기는 전체의 1.2%에 불과하며, ELMo가 두 작업 모두에서 BERT와 GPT-2를 앞서는 것으로 나타났다. 또한, 각 가족 내에서 GloVe와 FastText가 각각 최고의 성능을 보였다.

ABSTRACT

Coreference Resolution is an important NLP task and most state-of-the-art methods rely on word embeddings for word representation. However, one issue that has been largely overlooked in literature is that of comparing the performance of different embeddings across and within families in this task. Therefore, we frame our study in the context of Event and Entity Coreference Resolution (EvCR & EnCR), and address two questions : 1) Is there a trade-off between performance (predictive & run-time) and embedding size? 2) How do the embeddings' performance compare within and across families? Our experiments reveal several interesting findings. First, we observe diminishing returns in performance with respect to embedding size. E.g. a model using solely a character embedding achieves 86% of the performance of the largest model (Elmo, GloVe, Character) while being 1.2% of its size. Second, the larger model using multiple embeddings learns faster overall despite being slower per epoch. However, it is still slower at test time. Finally, Elmo performs best on both EvCR and EnCR, while GloVe and FastText perform best in EvCR and EnCR respectively.

연구 동기 및 목표

• 공명 해결에서 모델 성능(예측 및 런타임)과 임베딩 크기 간의 상충 관계를 조사하기 위해.
• 정적, 문맥적, 문자 임베딩 가족 내외에서 워드 임베딩의 예측 성능를 비교하기 위해.
• 더 크고 표현력 있는 임베딩이 일관되게 성능을 향상시키는지, 또는 더 작은 대체품이 그들을 따라잡거나 뛰어넘을 수 있는지 평가하기 위해.
• 실제 응용 분야에서 효율적이고 높은 성능을 내는 공명 해결 시스템을 구현하기 위한 실용적 통찰을 제공하기 위해.

제안 방법

• 기준 프레임워크로 Barhom 등(2019)의 최신 기술 기반 공명 해결 모델을 사용하여 실험를 수행하였다.
• 정적(GloVe, FastText, Word2Vec), 문맥적(ELMo, BERT, GPT-2), 문자 임베딩 조합을 다양하게 변경하여 총 16개의 모델을 훈련시켰다.
• 예측 성능 평가에는 EvCR 및 EnCR의 ECB+ 및 EventCorefBank+ 데이터셋을 사용하여 F1 스코어를 측정하였다.
• 모델 크기, 훈련 시간, 추론 속도, 메모리 사용량을 측정하여 효율성의 상충 관계를 분석하였다.
• 각 임베딩 유형의 기여도를 분리하여 분석하기 위해 탈락 실험을 실시하였다.
• 추가 임베딩 유무를 비교하여 여분의 성능 향상과 점차 감소하는 수익의 정도를 평가하였다.

실험 결과

연구 질문

• RQ1 공명 해결에서 예측 성능와 런타임 효율성 간의 상충 관계가 임베딩 크기와 관련이 있는가?
• RQ2 각 가족 내에서 다른 임베딩(예: GloVe vs. FastText vs. Word2Vec)의 성능는 EvCR 및 EnCR에서 어떻게 다른가?
• RQ3 정적, 문맥적, 문자 임베딩 가족 간의 예측 성능 및 효율성 측면에서 각 임베딩의 성능는 어떻게 비교되는가?
• RQ4 여러 임베딩을 조합하면 상당한 성능 향상이 이루어지는가, 아니면 추가될수록 수익이 감소하는가?
• RQ5 문자 임베딩만으로도 더 큰 다중 임베딩 모델과 유사한 성능를 달성할 수 있는가?

주요 결과

• 문자 임베딩만을 사용한 모델가 전체 모델(EMLo, GloVe, 문자 임베딩 사용)의 F1 성능의 86%를 달성하면서도 크기는 전체의 1.2%에 불과하였다.
• 가장 작은 모델(문자 임베딩 전용)은 크기가 전체의 4%에 불과함에도 불구하고 Word2Vec 전용 모델보다 약 10 F1 포인트 높은 성능를 보였다.
• 전체 모델은 더 크고 복잡함에도 불구하고 전체적으로 21% 더 빠르게 훈련되었으며(14 에포크 대비 24 에포크), 이는 크기와 훈련 시간 간의 약한 상관관계를 시사한다.
• ELMo는 EvCR 및 EnCR 양쪽 작업 모두에서 BERT와 GPT-2를 앞서는 성능를 보였으며, 이는 이전 연구에서 BERT가 EnCR에서 ELMo를 능가한다는 결과와 정면으로 배치된다.
• 정적 임베딩 중에서는 EvCR에서 GloVe가 가장 높은 성능를 보였고, EnCR에서는 FastText가 정적 임베딩 중에서 가장 높은 성능를 기록하였다.
• 여러 임베딩을 추가할수록 예측 성능 향상 수익이 점차 감소하는 경향을 보였으며, 이는 더 큰 모델이 비례적으로 정확도를 향상시키지 못함을 시사한다.