[논문 리뷰] Translate & Fill: Improving Zero-Shot Multilingual Semantic Parsing with Synthetic Data

Massimo Nicosia, Zhongdi Qu외 1명|arXiv (Cornell University)|2021. 11. 01.

Topic Modeling참고 문헌 49인용 수 8

한 줄 요약

이 논문은 다국어 의미 분석을 위한 고품질 합성 훈련 데이터를 생성하기 위해 영어 데이터에서 문장과 분석 서명(예: 의도 및 슬롯 구조)을 기반으로 전체 분석 구조를 재구성하도록 순서-순서 모델을 훈련하는 새로운 방법인 Translate-and-Fill (TaF)을 제안한다. 이 모델은 번역된 문장을 채우는 방식으로 다른 언어로의 제로샷 일반화를 달성하며, 정렬 또는 토큰화 민감성 컴포넌트가 필요 없이 세 개의 다국어 의미 분석 데이터셋에서 최신 기술 성능을 달성한다.

ABSTRACT

While multilingual pretrained language models (LMs) fine-tuned on a single language have shown substantial cross-lingual task transfer capabilities, there is still a wide performance gap in semantic parsing tasks when target language supervision is available. In this paper, we propose a novel Translate-and-Fill (TaF) method to produce silver training data for a multilingual semantic parser. This method simplifies the popular Translate-Align-Project (TAP) pipeline and consists of a sequence-to-sequence filler model that constructs a full parse conditioned on an utterance and a view of the same parse. Our filler is trained on English data only but can accurately complete instances in other languages (i.e., translations of the English training utterances), in a zero-shot fashion. Experimental results on three multilingual semantic parsing datasets show that data augmentation with TaF reaches accuracies competitive with similar systems which rely on traditional alignment techniques.

연구 동기 및 목표

• 저자원 언어에서의 다국어 의미 분석 성능 저하 문제를 해결하기 위해 언어 내 지도 학습의 부족으로 인한 영향을 완화한다.
• 기존의 TAP와 같은 데이터 프로젝션 방법에서 복잡하고 오류가 발생하기 쉬운 정렬 및 프로젝션 파이프라인에 대한 의존도를 줄인다.
• 다국어 사전 학습 모델과 분석 구조를 활용하여 다국어 의미 분석을 위한 제로샷 전이를 위한 강력하고 종단 간 합성 데이터 생성 방법을 개발한다.
• 최소한의 언어 내 주석 작업으로 다국어 의미 분석의 제로샷 성능을 향상시킨다.

제안 방법

• 입력 문장과 분석 서명(예: 의도 및 슬롯 구조)을 조건으로 하여 영어 의미 분석 데이터 전용 순서-순서(seq2seq) 채우개 모델을 훈련한다.
• 다국어 사전 학습 모델(mT5를 특별히 사용)을 활용해 영어 문장과 그 번역을 모두 인코딩하여 다국어 일반화를 가능하게 한다.
• 추론 단계에서 영어 문장을 동일한 문장의 대상 언어로의 신경 기계 번역(NMT) 결과로 대체하면서 분석 서명은 그대로 유지한다.
• 모델은 번역된 문장과 분석 서명에 주의를 기울여 대상 언어에서 전체 분석을 생성함으로써 효과적으로 제로샷 분석을 수행한다.
• 모델의 생성적 성격을 활용해 단어 수준의 정렬이나 복잡한 레이블 프로젝션 논리를 필요로 하지 않고도 다국어 의미 분석기용 실버 표준 훈련 데이터를 생성한다.
• 허위 생성 및 서명 충실도를 평가하기 위해 히우리스틱 필터를 적용했지만, 합성 데이터에 대한 필터링이 최종 모델 성능 향상에 기여하지 않는 것으로 나타났다.

실험 결과

연구 질문

• RQ1 영어 데이터에서만 훈련된 seq2seq 모델이 제로샷 방식으로 다른 언어에서 정확한 의미 분석을 생성할 수 있는가?
• RQ2 제안된 Translate-and-Fill 방법이 단어 정렬 및 레이블 프로젝션에 의존하는 전통적인 TAP 기반 파이프라인을 능가하는가?
• RQ3 번역 노이즈, 형태적 변형, 복합어 또는 어순 변화와 같은 언어 고유 현상에 대해 이 방법은 얼마나 강건한가?
• RQ4 TaF를 통해 생성된 합성 데이터는 언어 내 미세조정과 비교해 다국어 의미 분석 성능을 어느 정도 향상시킬 수 있는가?

주요 결과

• Translate-and-Fill (TaF) 방법은 세 개의 다국어 의미 분석 데이터셋에서 최신 기술 성능을 달성하며, 기존의 정렬 및 프로젝션 기반 기법에 비해 뛰어난 성능을 보였다.
• mTOP 데이터셋에서 TaF는 제로샷과 언어 내 지도 학습 모델 간의 성능 격차의 90% 이상를 메워내며, 일부 언어 설정에서 최대 12.5%p의 절대 F1 향상을 기록했다.
• 이 방법은 특히 풍부한 형태적 특성을 지닌 언어인 터키어와 같은 언어에서 강력한 제로샷 일반화 성능를 보였으며, 기존 NMT 기반 데이터 증강 기법보다 뛰어난 성능를 기록했다.
• 히우리스틱 분석 결과 생성된 분석의 2.89%만 오류를 포함하고 있었으며, 대부분의 오류는 문구의 구조적 불일치가 아니라 잘못된 슬롯 값 생성에서 기인했으며, 이는 입력 서명에 대한 높은 충실도를 의미한다.
• 허위 생성 또는 서명 불일치 기반으로 합성 데이터를 필터링해도 최종 모델 정확도 향상에 기여하지 않았으며, 이는 모델의 일반화 능력이 강력하고 합성 데이터가 신뢰할 수 있는 유용성이라는 점을 시사한다.
• 외부 단어 정렬기의 필요성을 제거했으며, 언어 간 토크나이제이션 및 서브워드 분할 방식의 차이에 대해서도 강건함을 입증했다.