[논문 리뷰] Alternative Weighting Schemes for ELMo Embeddings

Nils Reimers, Iryna Gurevych|arXiv (Cornell University)|2019. 04. 05.

Electromagnetic Simulation and Numerical Methods참고 문헌 3인용 수 21

한 줄 요약

이 논문은 ELMo 임베딩의 대체 가중치 부여 방식을 평가하여, 세 개의 biLM 레이어 중 첫 번째 두 레이어에만 학습된 가중 평균을 적용하는 것이 페터스 등이 제안한 원래의 학습된 가중 평균보다 다양한 NLP 작업에서 성능이 뛰어남을 발견했다. 제안된 방법은 8개 데이터셋 중 7개에서 성능 향상을 이끌었고, 학습 시간을 19–44% 단축시켰으며, 가장 추상적인 세 번째 레이어로 인한 성능 저하를 방지한다.

ABSTRACT

ELMo embeddings (Peters et. al, 2018) had a huge impact on the NLP community and may recent publications use these embeddings to boost the performance for downstream NLP tasks. However, integration of ELMo embeddings in existent NLP architectures is not straightforward. In contrast to traditional word embeddings, like GloVe or word2vec embeddings, the bi-directional language model of ELMo produces three 1024 dimensional vectors per token in a sentence. Peters et al. proposed to learn a task-specific weighting of these three vectors for downstream tasks. However, this proposed weighting scheme is not feasible for certain tasks, and, as we will show, it does not necessarily yield optimal performance. We evaluate different methods that combine the three vectors from the language model in order to achieve the best possible performance in downstream NLP tasks. We notice that the third layer of the published language model often decreases the performance. By learning a weighted average of only the first two layers, we are able to improve the performance for many datasets. Due to the reduced complexity of the language model, we have a training speed-up of 19-44% for the downstream task.

연구 동기 및 목표

• ELMo의 세 개의 biLM 레이어에 대한 원래의 학습된 가중 평균이 다양한 NLP 작업에서 최적인지 여부를 조사하기 위해.
• 개별 레이어, 연결, 고정 평균, 학습된 평균의 변형 등 다양한 대체 가중치 부여 방식—ELMo 임베딩에 대해 평가하기 위해.
• biLM의 세 번째(마지막) 레이어가 성능에 항상 기여하는지, 아니면 때로는 성능을 떨어뜨리는지 판단하기 위해.
• 원래의 ELMo 통합 방법보다 더 빠르고 효과적인 대안을 개발하여 성능을 유지하거나 향상시키기 위해.
• GloVe와 같은 다른 임베딩과 함께 사용될 때, ELMo가 단독으로 사용될 때와 비교해 가중치 부여 방식의 영향을 평가하기 위해.

제안 방법

• 저자는 다섯 가지 가중치 부여 방식을 평가한다: 첫 번째, 두 번째, 또는 세 번째 biLM 레이어만 사용하기; 세 레이어를 연결하기; 세 레이어의 고정 평균 계산하기; 그리고 세 레이어의 작업별 학습된 가중 평균 계산하기.
• 새로운 방법을 도입하고 평가한다: 세 번째 레이어를 제외하고 첫 번째 두 레이어에만 작업별로 학습된 가중 평균을 계산하는 것이다.
• 이 방법은 가중치 벡터 s ∈ ℝ³를 학습 가능한 소프트맥스 정규화된 방식으로 사용하여 첫 번째 두 레이어 출력의 가중 평균을 계산하고, 스케일링을 위한 학습 가능한 스칼라 γ를 사용한다.
• 제안된 방법은 ELMo를 유일한 입력으로 사용하는 BiLSTM-CRF 모델과 ELMo를 GloVe 임베딩과 조합하는 AllenNLP 모델 모두에서 테스트된다.
• 학습 및 추론 속도를 측정하여, 특히 세 번째 레이어를 제거했을 때의 계산 효율성을 평가한다.
• 실험은 CoNLL-2003 NER, SNLI, SQuAD, SICK, SST-5, CoNLL-2005 parsing, CoNLL-2003 parsing, GENIA의 여덟 개의 벤치마크 NLP 데이터셋에서 수행된다.

실험 결과

연구 질문

• RQ1 ELMo의 세 레이어에 대한 원래의 학습된 가중 평균이 다양한 NLP 작업에서 최고의 성능을 내는가?
• RQ2 ELMo biLM의 세 번째(마지막) 레이어는 항상 유익한가, 아니면 때로는 성능을 떨어뜨리는가?
• RQ3 첫 번째 두 레이어에만 학습된 평균과 같은 단순한 가중치 부여 방식이 원래 방법보다 더 높은 성능을 낼 수 있는가?
• RQ4 세 번째 biLM 레이어를 제외했을 때 성능과 학습 속도에 어떤 영향을 미치는가?
• RQ5 ELMo가 유일한 입력 표현으로 사용될 때와 다른 임베딩과 함께 사용될 때, 가중치 부여 방식의 중요성은 어느 정도인가?

주요 결과

• 첫 번째 두 레이어에만 학습된 가중 평균이 원래의 학습된 가중 평균보다 8개 데이터셋 중 7개에서 성능이 뛰어나며, 이는 가장 추상적인 표현이 항상 최적은 아님을 시사한다.
• 첫 번째 두 레이어에만 학습된 가중 평균이 원래 방법보다 8개 데이터셋 중 7개에서 더 높은 성능을 기록했고, 여러 경우에서 통계적으로 유의미한 향상이 있었다.
• 제안된 방법은 다양한 모델에서 학습 시간을 19–44% 단축시켰으며, SNLI 모델에서 가장 큰 속도 향상(44%)을 기록했고, parsing 모델에서 가장 작은 속도 향상(19%)을 기록했다.
• ELMo를 유일한 입력으로 사용하는 모델에서는 가중치 부여 방식의 영향이 뚜렷했지만, GloVe 임베딩과 조합할 경우 각 방식 간 성능 차이가 작았고, 통계적으로 유의미한 차이가 없었을 수도 있었다.
• biLM의 세 번째 레이어는 많은 경우에 해로웠으며, 이를 제거함으로써 성능 향상이 있었고, 이는 원래의 학습된 가중치 부여 방식이 세 레이어를 모두 사용하도록 강제하기 때문일 수 있다.
• 고정 평균과 세 레이어의 학습된 가중 평균 간 성능 차이가 거의 없었으며, 이는 단순 평균이 복잡한 가중치를 학습하는 것과 거의 동등한 효과를 낼 수 있음을 시사한다.