[논문 리뷰] Polyglot Prompt: Multilingual Multitask PrompTraining

Jinlan Fu, See-Kiong Ng외 1명|arXiv (Cornell University)|2022. 04. 29.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 프롬프트 엔지니어링을 사용하여 49개 언어에서 분류, 질의 응답, 요약과 같은 다양한 자연어 처리(NLP) 작업을 통합하는 단일 다국어 다중작업 프레임워크인 Polyglot Prompting을 소개한다. 작업에 관계없이 프롬프트를 사용하여 단일 인코더-디코더 모델을 훈련시킴으로써 언어 및 작업 간 강력한 제로샷 전이 성능를 달성하였으며, 작업 또는 언어에 특화된 모듈 없이도 다국어 및 다중작업 지식 전이가 가능하다는 것을 입증한다.

ABSTRACT

This paper aims for a potential architectural improvement for multilingual learning and asks: Can different tasks from different languages be modeled in a monolithic framework, i.e. without any task/language-specific module? The benefit of achieving this could open new doors for future multilingual research, including allowing systems trained on low resources to be further assisted by other languages as well as other tasks. We approach this goal by developing a learning framework named Polyglot Prompting to exploit prompting methods for learning a unified semantic space for different languages and tasks with multilingual prompt engineering. We performed a comprehensive evaluation of 6 tasks, namely topic classification, sentiment classification, named entity recognition, question answering, natural language inference, and summarization, covering 24 datasets and 49 languages. The experimental results demonstrated the efficacy of multilingual multitask prompt-based learning and led to inspiring observations. We also present an interpretable multilingual evaluation methodology and show how the proposed framework, multilingual multitask prompt training, works. We release all datasets prompted in the best setting and code.

연구 동기 및 목표

• 다양한 개념적 특성을 가진 NLP 작업과 다수의 언어를 하나의 파rameter-free 프레임워크에서 통합하는 데 도전한다.
• 관련 작업에서의 고자원 데이터셋이 공유 학습을 통해 저자원 환경에서의 성능 향상에 기여하는지 탐구한다.
• 언어 다양성과 데이터셋 특성이 언어 및 작업 간 모델 일반화에 미치는 영향을 조사한다.
• 다양한 작업, 언어, 데이터셋에서 모델 행동을 분석할 수 있는 해석 가능한 평가 방법론을 개발한다.
• 다국어 프롬프트 설계 전략 중 다국어 및 다중작업 전이 성능 향상에 기여하는 요소를 특정한다.

제안 방법

• 다양한 작업(예: 시퀀스 분류, 생성, 자연어 추론)을 지원하기 위해 인코더-디코더 사전학습된 언어 모델 아키텍처를 채택한다.
• 작업 전용 프롬프트 템플릿을 사용하여 모든 작업을 사전학습 목표로 재구성함으로써 작업 전용 헤드 없이 통합 훈련을 가능하게 한다.
• 각 작업당 5개의 다국어(영어 기준) 프롬프트 템플릿을 설계하며, 입력 필드(예: 질문, 문맥, 문장 쌍 등)를 위한 자리표시자를 포함한다.
• 공유 파라미터를 사용한 다중작업 학습을 통해 24개 데이터셋(49개 언어, 6개 작업 포함)에 대해 단일 통합 모델을 훈련시킨다.
• 언어 간 일관된 프롬프트 구조를 유지하면서 대상 언어에 맞는 언어적 형태로 적응함으로써 다국어 프롬프트 엔지니어링을 적용한다.
• 통합 평가 프로토콜을 사용하여 언어 내 훈련, 다국어 제로샷 전이, 다중작업 및 다국어 제로샷 전이를 포함한다.

실험 결과

연구 질문

• RQ1 작업 또는 언어에 특화된 모듈 없이도 서로 다른 언어에서 온 다양한 작업이 단일 통합 프레임워크에서 상호 보완적 효과를 낼 수 있는가?
• RQ2 다양한 작업에서의 고자원 데이터셋을 도입함으로써 다중작업 학습을 통해 저자원 환경에서의 성능 향상이 이루어지는가?
• RQ3 데이터셋 및 언어 특성이 통합 프레임워크의 성능에 어떤 영향을 미치는가?
• RQ4 다국어 다중작업 프롬프트 훈련에서 효과적인 프롬프트의 특성은 무엇이며, 특히 템플릿의 일관성과 언어 선택 측면에서 어떤가?
• RQ5 이 프레임워크는 작업 및 언어 간 강력한 제로샷 전이 성능를 달성할 수 있는가?

주요 결과

• Polyglot Prompting 프레임워크는 49개 언어와 6개의 다양한 NLP 작업에서 강력한 제로샷 전이 성능를 달성하였으며, 개념적으로 다른 작업들이 효과적으로 통합될 수 있음을 입증한다.
• 17개의 고자원 데이터셋을 다중작업 프레임워크에 통합함으로써 저자원 언어에서의 성능 향상이 뚜렷하게 향상되었으며, 특히 질의 응답 및 자연어 추론 작업에서 두드러진다.
• 모델는 안정적인 다국어 전이 성능를 보이며, 문법적 유사성이 높은 언어에서 더 높은 성능를 기록하고, 일관된 구조를 가진 다국어 프롬프트 템플릿을 사용할 경우 성능 향상이 더 두드러진다.
• 프롬프트 템플릿 설계는 명확한 영향을 미친다: 다국어 간 일관된 형식과 명확한 작업 지시문을 포함한 템플릿은 일관성 없거나 모호한 템플릿보다 더 우수한 일반화 성능를 보인다.
• 해석 가능한 평가 방법론을 통해 성능는 작업 유형에 따라 달라지며, 특히 저자원 환경에서 분류 및 시퀀스 레이블링 작업은 생성 작업보다 더 큰 이점을 얻는다.
• 다국어 제로샷 전이에서 이 프레임워크는 강력한 베이스라인을 능가하며, 스와힐리어, 태국어, 우르두어와 같은 저자원 언어에서 특히 뛰어난 성능를 보이며, 저자원 NLP 응용 분야 잠재력을 입증한다.