[논문 리뷰] Encoder vs Decoder: Comparative Analysis of Encoder and Decoder Language Models on Multilingual NLU Tasks

Dan Saattrup Nielsen, Kenneth Enevoldsen외 1명|arXiv (Cornell University)|2024. 06. 19.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 스칸디나비아어권 8개 언어에서 다국어 NLU 작업을 평가하기 위해 ScandEval 벤치마크를 확장하여 디코더 언어 모델의 성능을 평가한다. 결과적으로 디코더 모델이 NLU에서 인코더 모델보다 유의하게 뛰어나며, 특히 질의응답 작업에서 두드러진 성능 향상을 보이며, 언어와 작업 유형에 따라 성능이 다양하게 나타난다. UMAP 분석을 통해 인코더와 디코더 모델 간의 고유한 학습 궤적을 확인할 수 있었다.

ABSTRACT

This paper explores the performance of encoder and decoder language models on multilingual Natural Language Understanding (NLU) tasks, with a broad focus on Germanic languages. Building upon the ScandEval benchmark, initially restricted to evaluating encoder models, we extend the evaluation framework to include decoder models. We introduce a method for evaluating decoder models on NLU tasks and apply it to the languages Danish, Swedish, Norwegian, Icelandic, Faroese, German, Dutch, and English. Through a series of experiments and analyses, we also address research questions regarding the comparative performance of encoder and decoder models, the impact of NLU task types, and the variation across language resources. Our findings reveal that encoder models can achieve significantly better NLU performance than decoder models despite having orders of magnitude fewer parameters. Additionally, we investigate the correlation between decoders and task performance via a UMAP analysis, shedding light on the unique capabilities of decoder and encoder models. This study contributes to a deeper understanding of language model paradigms in NLU tasks and provides valuable insights for model selection and evaluation in multilingual settings.

연구 동기 및 목표

• 영어를 초월한 다국어 NLU 환경에서 인코더와 디코더 언어 모델 간의 체계적 비교가 부족한 점을 보완하기 위해.
• ScandEval 벤치마크를 확장하여 디코더 모델의 few-shot 평가를 지원하고, 독일어, 네덜란드어, 영어 포함 언어 범위를 넓히기 위해.
• 다양한 작업과 언어에서 최신의 미세조정된 인코더 모델에 비해 디코더 모델이 뛰어난 NLU 성능을 달성하는지 조사하기 위해.
• 모델 유형(인코더 대 비디오 모델)이 NLU 작업 유형과 언어 자원 수준에 따라 성능 변동과 어떻게 관련되는지 분석하기 위해.

제안 방법

• 디코더 모델의 few-shot 평가를 지원하도록 ScandEval 벤치마크 프레임워크를 확장하여 인코더 모델과의 일관된 비교를 가능하게 하였다.
• 지침 테이닝 및 제로샷 형식으로 디코더 모델을 NLU 작업에 적응시켜 표준 NLU 평가 프로토콜과의 호환성을 확보하였다.
• UMAP 차원 축소를 적용하여 인코더 및 디코더 모델의 성능 분포를 랭킹 보드 기반으로 시각화하고 비교하였다.
• 모델 크기, 추론 속도, 가중치 가용성 등의 메타데이터를 포함하여 8개 스칸디나비아어권 언어의 공개 랭킹 보드에 모델 점수를 수집하고 배포하였다.
• BERT 기반 인코더, RoBERTa, XLM-RoBERTa, Llama-3, GPT-4, GPT-3.5-turbo 등의 다양한 모델을 평가하였다.
• 성능 차이를 평가하기 위해 작업 유형과 모델의 생성 능력에 따라 전략화된 평균 순위 점수를 주요 메트릭으로 사용하였다.

Figure 1: UMAP plots of the models on the ScandEval leaderboards.

실험 결과

연구 질문

• RQ1 최신의 디코더 모델이 최신의 미세조정된 인코더 모델보다 유의미하게 뛰어난 NLU 성능을 달성할 수 있는가?
• RQ2 디코더 모델의 성능 우위는 NLU 작업 유형에 따라 달라지는가?
• RQ3 저자원 언어에서 고자원 언어에 이르기까지 언어 자원 스펙트럼 전반에서 인코더와 디코더 모델 간의 성능 차이가 달라지는가?

주요 결과

• 디코더 모델은 다국어 NLU 작업에서 인코더 모델보다 유의미하게 뛰어나며, 최고의 디코더 모델은 덴마크어에서 평균 순위 점수 1.40, 영어에서 1.46을 기록한 반면, 인코더 모델은 각각 1.33과 1.34를 기록하였다.
• 디코더 모델의 성능 우위는 질의응답 작업에서 가장 두드러지며, 지침 테이닝 없이도 높은 성능을 보이는 생성 모델과 강한 상관관계를 보인다.
• 디코더 모델은 명명된 실체 인식 및 언어적 타당성 작업에서 열악한 성능을 보이며, 이는 능력에 대한 작업 특이적 편향을 시사한다.
• UMAP 분석을 통해 인코더 모델과 디코더 모델 간에 고유한 성능 궤적을 확인하였으며, 이는 훈련 과정에서 서로 다른 표현 방식을 학습한다는 것을 시사한다.
• 인코더와 디코더 모델 간의 성능 격차는 언어에 따라 달라지며, 파라우어와 아이슬란드어처럼 저자원 언어에서 더 큰 우위가 관찰된다.
• 이 연구는 디코더 모델이 질의응답 작업에 크게 편향되어 있음을 확인하였으며, 지침 테이닝 없이도 강력한 성능을 보이는 것은 아키텍처나 사전학습 요인 때문일 가능성이 높다.

Figure 2: The correlation between a model being generative and its performance on the four NLU tasks.