[논문 리뷰] Combining Pre-trained Word Embeddings and Linguistic Features for Sequential Metaphor Identification

Rui Mao, Chenghua Lin외 1명|arXiv (Cornell University)|2021. 04. 07.

Language, Metaphor, and Cognition참고 문헌 37인용 수 9

한 줄 요약

이 논문은 사전에 학습된 단어 임베딩(GloVe, ELMo, BERT)과 문법적 특징(품사, 추상성)을 결합한 다중 채널 CNN-BiLSTM 모델을 제안하며, 다양한 임베딩 간의 상보적인 의미적 및 문법적 정보를 활용하여 세 가지 기준 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We tackle the problem of identifying metaphors in text, treated as a sequence tagging task. The pre-trained word embeddings GloVe, ELMo and BERT have individually shown good performance on sequential metaphor identification. These embeddings are generated by different models, training targets and corpora, thus encoding different semantic and syntactic information. We show that leveraging GloVe, ELMo and feature-based BERT based on a multi-channel CNN and a Bidirectional LSTM model can significantly outperform any single word embedding method and the combination of the two embeddings. Incorporating linguistic features into our model can further improve model performance, yielding state-of-the-art performance on three public metaphor datasets. We also provide in-depth analysis on the effectiveness of leveraging multiple word embeddings, including analysing the spatial distribution of different embedding methods for metaphors and literals, and showing how well the embeddings complement each other in different genres and parts of speech.

연구 동기 및 목표

• 다양한 의미적 및 문법적 지식을 포함한 다수의 사전 학습된 단어 임베딩을 결합하여 순차적 은유 식별 성능을 향상시키는 것.
• GloVe, ELMo, BERT와 같은 다양한 임베딩을 조합할 경우 개별 또는 이변수 조합보다 성능 향상이 이루어지는지 조사하는 것.
• 언어적 특징(품사 및 단어의 추상성)을 통합할 경우 은유 탐지 성능에 어떤 영향을 미치는지 평가하는 것.
• 장르 및 품사별로 다양한 임베딩 간의 상보성을 분석하여 각 임베딩의 상대적 강점 이해하는 것.
• 특정 조건에서 임베딩 조합이 뛰어난 성능을 내는 이유를 벡터 공간의 정렬 및 특징 균형 측면에서 규명하는 것.

제안 방법

• 각 채널이 별개의 단어 임베딩(GloVe, ELMo 또는 BERT)을 처리하는 다중 채널 컨볼루션 신경망(CNN)을 사용하여 局부적 특징을 추출한다.
• CNN 레이어의 출력을 양방향 장기 단기 기억망(BiLSTM)에 입력하여 시퀀스 내 장거리 의존성을 모델링한다.
• 언어적 특징(품사 태그 및 단어의 추상성 점수)을 모델의 추가 입력 특징으로 통합한다.
• SVD를 통한 수직 변환을 이용해 BERT와 ELMo 임베딩을 동일한 벡터 공간으로 정렬하여 일관된 비교 및 조합을 가능하게 한다.
• BIO 태깅 체계를 사용하여 세 가지 공개된 은유 데이터셋(VUA, MOH-X, TroFi)에서 모델을 종합적으로 학습한다.
• 개발 및 테스트 세트에서 정밀도, 재현율, F1 점수와 같은 표준 지표를 사용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 GloVe, ELMo, BERT와 같은 다수의 사전 학습된 단어 임베딩을 조합할 경우, 단일 임베딩을 사용하는 것보다 순차적 은유 식별 성능이 향상되는가?
• RQ2 장르 및 품사별로 다양한 임베딩 조합(예: 이중 vs. 삼중) 간의 F1 점수는 어떻게 비교되는가?
• RQ3 다양한 임베딩 입력과 함께 품사 및 단어의 추상성과 같은 언어적 특징을 통합할 경우 은유 탐지 성능 향상 정도는 어느 정도인가?
• RQ4 어떤 임베딩 조합(예: ELMo와 초기 BERT 레이어)이 성능이 열 劣하는가? 이로 인한 나쁜 성능의 원인인 공간적 또는 분포적 요인은 무엇인가?
• RQ5 BERT의 어떤 레이어가 은유 식별에 가장 효과적인가? 이는 NER와 같은 다른 NLP 작업에서의 성능과 어떻게 다를까?

주요 결과

• GloVe, ELMo, 특징 기반 BERT(GEB)의 조합이 세 데이터셋 전반에서 가장 높은 F1 점수를 기록했으며, 가장 우수한 단일 임베딩(BERT)보다 2.3% 높은 성능을 보였다.
• ELMo + BERT(EB) 조합은 평균 F1 점수에서 가장 우수한 단일 임베딩(BERT)보다 1.0% 높은 성능을 기록하여 두 임베딩 조합의 일관된 성능 향상을 입증했다.
• BERT의 중간 레이어(특히 레이어 11–17)가 은유 식별에 더 나은 성능을 보였으며, 이는 NER 작업에서 후행 레이어가 최적임을 보여주는 결과와 대조된다.
• 형용사 품사에서 임베딩 조합의 성능 향상이 가장 두드러졌다: GE(GloVe + ELMo)는 ELMo 단독 대비 7.3% 향상되었고, GB17(GloVe + BERT 레이어 17)는 BERT17 대비 4.2% 향상되었다.
• ELMo와 기울인 BERT 임베딩 간 평균 L2 거리와 모델 성능 간에 부정적 상관관계(R = -0.70)를 발견하여, 임베딩 간 공간적 이질성이 효과적인 조합을 방해함을 시사했다.
• 다른 코퍼스에서 학습되고 다양한 아키텍처를 가진 임베딩을 조합할 경우 성능이 가장 높게 나타나, 서로 다른 의미적 및 문법적 패턴을 포괄하는 데서 그 상보성이 확인되었다.