[논문 리뷰] QAmeleon: Multilingual QA with Only 5 Examples

Priyanka Agrawal, Chris Alberti외 7명|arXiv (Cornell University)|2022. 11. 15.

Natural Language Processing Techniques인용 수 10

한 줄 요약

QAmeleon은 각 언어당 다섯 개의 애너테이션 예시만을 사용하여 소수의 예시(few-shot) 및 프롬프트 튜닝 방식을 통해 다국어 질문-답변 데이터를 생성한다. 대규모 사전 훈련된 언어 모델을 고도로 미세조정하여 고품질의 QA 쌍을 합성함으로써, 영어 전용 모델과 완전히 감독된 모델 간의 성능 격차의 약 60% 이내 성능을 달성하며, 저자원 환경에서 번역 기반 기준 모델 및 제로샷 방법보다 뛰어난 성능을 보인다.

ABSTRACT

The availability of large, high-quality datasets has been one of the main drivers of recent progress in question answering (QA). Such annotated datasets however are difficult and costly to collect, and rarely exist in languages other than English, rendering QA technology inaccessible to underrepresented languages. An alternative to building large monolingual training datasets is to leverage pre-trained language models (PLMs) under a few-shot learning setting. Our approach, QAmeleon, uses a PLM to automatically generate multilingual data upon which QA models are trained, thus avoiding costly annotation. Prompt tuning the PLM for data synthesis with only five examples per language delivers accuracy superior to translation-based baselines, bridges nearly 60% of the gap between an English-only baseline and a fully supervised upper bound trained on almost 50,000 hand labeled examples, and always leads to substantial improvements compared to fine-tuning a QA model directly on labeled examples in low resource settings. Experiments on the TyDiQA-GoldP and MLQA benchmarks show that few-shot prompt tuning for data synthesis scales across languages and is a viable alternative to large-scale annotation.

연구 동기 및 목표

• 저자원 언어에 특히 초점을 맞춘 고품질의 다국어 QA 데이터셋 부족 문제를 해결하기 위해.
• 비용이 많이 드는 대규모 애너테이션에 대한 의존도를 줄이기 위해 합성 데이터 생성을 활용하여.
• 번역 오류에 의존하지 않고 저자원 환경에서의 다국어 QA 성능을 향상시키기 위해.
• 다국어 질문-답변에서 프롬프트 튜닝의 데이터 합성 효과를 평가하기 위해.
• 완전한 데이터셋 애너테이션 또는 번역 기반 훈련에 비해 확장 가능하고 데이터 효율적인 대안을 제공하기 위해.

제안 방법

• 목표 언어당 다섯 개의 정답 레이블 예시만을 사용하여 대규모 사전 훈련된 언어 모델(PLM)을 프롬프트 튜닝한다.
• 프롬프트 튜닝된 PLM을 활용해 질문, 답변, 소스 문단을 포함한 다국어 QA 합성 데이터를 자동으로 생성한다.
• PLM가 생성한 합성 데이터로 질문-답변 모델을 미세조정한다.
• 영어 지침과 목표 언어의 예시를 조합한 다국어 프롬프트 설계를 통해 제로샷 및 소수의 예시 일반화 성능을 향상시킨다.
• 정확도 매트릭스(EM)를 주요 평가 지표로 삼아 TyDiQA-GoldP 및 MLQA 벤치마크에서 성능을 검증한다.
• 공개 배포 전에 인간 평가자들이 생성된 데이터를 점검하여 폭력적 또는 편향된 내용을 걸러낸다.

실험 결과

연구 질문

• RQ1 언어당 다섯 개의 예시만으로 프롬프트 튜닝을 수행할 경우, 강력한 다국어 QA 성능을 달성할 수 있는 합성 QA 데이터를 생성할 수 있는가?
• RQ2 저자원 다국어 환경에서 번역 기반 미세조정(예: 번역-훈련)과 비교할 때 QAmeleon은 어떻게 성능을 내는가?
• RQ3 프롬프트 튜닝된 PLM를 통한 합성 데이터 생성은 다국어 QA에서 제로샷 또는 프롬프트 엔지니어링 기반 기준 모델보다 뛰어나게 성능을 내는가?
• RQ4 QAmeleon의 성능는 다양한 언어와 데이터셋 간에 어떻게 스케일링되는가?
• RQ5 소수의 예시 수가 합성 데이터의 품질과 최종 QA 정확도에 어떤 영향을 미치는가?

주요 결과

• QAmeleon은 TyDiQA-GoldP에서 영어 전용 기준 모델 대비 12%p의 절대 정확도 향상을 달성하여 강력한 소수의 예시 성능을 입증한다.
• 약 50,000개의 수작업 레이블 예시로 훈련된 완전히 감독된 모델과 영어 전용 기준 모델 간의 성능 격차의 약 60%를 메우며, 뛰어난 성능 향상을 보인다.
• TyDiQA-GoldP에서 번역 기반 기준 모델 대비 4%p의 절대 EM 성능 향상을 기록하여 번역-훈련 접근 방식보다 뛰어난 성능을 입증한다.
• 수작업 예시를 50개에서 100개로 늘여도 성능 향상이 유의미하게 이루어지지 않아, 최소한의 애너테이션으로도 매우 높은 데이터 효율성을 확보함을 시사한다.
• 저자원 언어에서 직접 미세조정보다 일관되게 성능 향상을 보이며, 동일한 소수의 예시를 사용한 프롬프트 엔지니어링 기반 방법보다 뛰어난 성능을 기록한다.
• 공개된 합성 데이터셋은 검토를 통과한 고품질 예시 47,173건을 포함하며, 실험에 사용된 데이터의 89%가 안전성과 재현 가능성을 확보한 상태로 활용되었다.