[논문 리뷰] CometKiwi: IST-Unbabel 2022 Submission for the Quality Estimation Shared Task

Ricardo Rei, Marcos Treviso외 10명|arXiv (Cornell University)|2022. 09. 13.

Topic Modeling인용 수 33

한 줄 요약

CometKiwi는 Comet과 OpenKiwi 아키텍처를 결합하여 WMT 2022 QE 태스크를 해결하고, 강력한 다국어 일반화, 효과적인 소샷 적응, 그리고 주의와 그래디언트를 융합한 새로운 설명 가능성 방법을 보여준다.

ABSTRACT

We present the joint contribution of IST and Unbabel to the WMT 2022 Shared Task on Quality Estimation (QE). Our team participated on all three subtasks: (i) Sentence and Word-level Quality Prediction; (ii) Explainable QE; and (iii) Critical Error Detection. For all tasks we build on top of the COMET framework, connecting it with the predictor-estimator architecture of OpenKiwi, and equipping it with a word-level sequence tagger and an explanation extractor. Our results suggest that incorporating references during pretraining improves performance across several language pairs on downstream tasks, and that jointly training with sentence and word-level objectives yields a further boost. Furthermore, combining attention and gradient information proved to be the top strategy for extracting good explanations of sentence-level QE models. Overall, our submissions achieved the best results for all three tasks for almost all language pairs by a considerable margin.

연구 동기 및 목표

• 다국어 품질 추정(QE)을 WMT 2022 QE 공유 태스크에 대한 IST-Unbabel의 공동 제출을 통해 촉진한다.
• 문장 수준 및 단어 수준 QE를 위해 Comet의 프레임워크를 OpenKiwi 예측자–추정기와 활용한다.
• 참조가 풍부한 데이터에서의 사전 학습과 보지 않은 언어에 대한 소샷 적응을 연구한다.
• 주의–그래디언트 기반 설명과 헤드 인식 기반 집계를 통해 해석 가능한 QE를 개발한다.
• 세 가지 QE 하위 작업(문장 수준, 단어 수준, 설명 가능한 QE) 전반에 걸쳐 강력하고 일관된 개선을 시연한다.

제안 방법

• predictor–estimator 아키텍처와 단어 수준 시퀀스 태거를 갖춘 Comet 프레임워크를 확장한다.
• Metrics 공유 태스크 Direct Assessments(DAs)에 대해 참조 보강 objective를 사용하여 QE 모델을 사전 학습한다.
• MLQE-PE 및 MQM 데이터로 미세조정하고, 다중 다국어 백본(XLM-R, InfoXLM, RemBERT)을 실험한다.
• 다국어 일반화를 향상시키기 위해 결합 손실을 가진 문장- 및 단어 수준의 공동 학습 목표를 구현한다.
• Attention과 GradNorm을 결합하여 Explainable QE를 개발하고, 더 나은 설명을 위한 Attention 헤드 가중치를 조절하는 Head Mix 모듈을 도입한다.
• 제로샷 적응을 돕기 위해 단어 수준 작업에 언어 접두 토큰을 사용하고, 향상된 강건성을 위해 여러 모델을 앙상블한다.
• 다양한 언어 쌍에 대해 Direct Assessments와 MQM으로 평가하고, Explainable QE 및 Critical Error Detection에 대해 제약된 설정과 비제약 설정을 비교한다.

실험 결과

연구 질문

• RQ1 하이브리드 Comet–OpenKiwi 아키텍처와 단어 수준 태깅이 문장 수준 및 단어 수준 작업에서 다국어 QE 성능을 어떻게 개선하는가?
• RQ2 참조가 풍부한 Metrics 데이터에서 QE 모델을 사전 학습하고 학습 중 참조를 포함하는 것이 언어 쌍 전반의 하류 QE 성능을 개선하는가?
• RQ3 500개 예시만으로의 소샷 적응이 보지 않은 언어 쌍에 일반화되면서도 기존 성능을 해치지 않는가?
• RQ4 그래디언트 강화된 주의 설명과 헤드 인식 집계가 언어 쌍 및 제로샷 케이스에서 Explainable QE를 개선하는가?
• RQ5 엔코더 및 감독 신호 간의 앙상블 전략이 DA와 MQM 데이터 모두에서 얼마나 잘 작동하는가?

주요 결과

Encoder	km-en	ps-en	en-ja	en-cs	en-mr	ru-en	ro-en	en-zh	en-de	et-en	si-en	ne-en	avg.
최종 앙상블	0.666	0.669	0.380	0.591	0.593	0.782	0.871	0.597	0.593	0.845	0.588	0.820	0.666

• 여섯 개의 다국어 시스템 앙상블이 문장 수준 DA에서 Spearman 0.572로 최첨단을 달성(두 번째 최고 대비 +7%)
• 단어 수준 MCC가 0.341로 두 번째 최고보다 +2.4%p 높음
• Explainable QE R@K가 0.486으로 두 번째 최고 시스템 대비 약 +10%
• Metrics 데이터에서의 사전 학습과 학습 중 참조 포함이 다수의 언어 쌍에서 하류 QE 상관관계를 개선
• 500개의 예시로의 소샷 적응이 보지 않은 언어 쌍에서 2–3%의 이득을 주고, 보지 않은 쌍의 상관관계에 악영향을 주지 않음
• Attention × GradNorm with Head Mix는 더 우수한 설명력을 제공하고 제로샷 언어에 대해 좋은 헤드를 식별하는 데 도움을 줌