[논문 리뷰] Cross-Lingual Semantic Role Labeling with High-Quality Translated Training Corpus

Hao Fei, Meishan Zhang외 1명|arXiv (Cornell University)|2020. 04. 14.

Natural Language Processing Techniques참고 문헌 55인용 수 15

한 줄 요약

이 논문은 고성능 번역 기반 방법을 제안하여 저자원 언어를 위한 고품질의 가짜 애너테이션 훈련 데이터를 생성함으로써 다국어 의미 역할 표기(SRL) 성능을 향상시킨다. 영어 SRL 애너테이션 문장을 목표 언어로 번역함으로써 이루어지며, Universal Proposition Bank의 일곱 언어에서 SRL 성능이 크게 향상된다. 특히 PGN-BiLSTM 모델을 사용해 원본 데이터와 번역된 데이터를 결합함으로써 추가적인 성능 향상이 이루어진다.

ABSTRACT

Many efforts of research are devoted to semantic role labeling (SRL) which is crucial for natural language understanding. Supervised approaches have achieved impressing performances when large-scale corpora are available for resource-rich languages such as English. While for the low-resource languages with no annotated SRL dataset, it is still challenging to obtain competitive performances. Cross-lingual SRL is one promising way to address the problem, which has achieved great advances with the help of model transferring and annotation projection. In this paper, we propose a novel alternative based on corpus translation, constructing high-quality training datasets for the target languages from the source gold-standard SRL annotations. Experimental results on Universal Proposition Bank show that the translation-based method is highly effective, and the automatic pseudo datasets can improve the target-language SRL performances significantly.

연구 동기 및 목표

• 고품질의 자동 생성 훈련 데이터를 활용하여 비영어 언어에서 저자원 SRL 문제를 해결한다.
• 다국어 SRL에서 애너테이션 프로젝션 또는 모델 전이의 대안으로 코퍼스 번역의 효과성을 탐구한다.
• 원본 데이터와 번역된 목표 언어 데이터를 결합하여 다국어 SRL 성능을 향상시킨다.
• 혼합 다국어 코퍼스에서 언어별 특이성을 잘 모델링할 수 있도록 파라미터 생성 네트워크(PGN)와 BiLSTM의 조합이 얼마나 유용한지 조사한다.
• 다양한 언어 계열을 대상으로 단일 소스 및 다중 소스 전이 설정의 성능을 평가한다.

제안 방법

• 최신 기술 수준의 신경 기계 번역(NMT)을 사용해 고성능 소스 언어(예: 영어)의 금표 SRL 애너테이션 문장을 목표 언어로 번역한다.
• 단어 대응을 통해 소스 측의 원래 SRL 레이블을 번역된 목표 언어 문장에 투영하여 가짜 애너테이션 목표 언어 데이터셋을 생성한다.
• 원본 소스 언어 SRL 코퍼스와 번역된 목표 언어 가짜 코퍼스를 결합하여 혼합 다국어 훈련 세트를 구성한다.
• 모델의 입력 특징으로 다국어 컨텍스트 기반 단어 표현(예: mBERT)을 사용한다.
• 다른 언어에 맞게 BiLSTM 인코더를 적응시키기 위해 파라미터 생성 네트워크(PGN)를 활용하여 언어별 패턴을 더 잘 모델링할 수 있도록 한다.
• PGN이 각 언어별로 동적으로 모델 파라미터를 생성하도록 하여 원본 데이터와 번역된 목표 언어 데이터를 통합한 데이터로 공동 SRL 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 고성능 소스 언어(예: 영어)의 금표 SRL 애너테이션 문장을 저자원 언어로 번역함으로써 다국어 SRL에 사용 가능한 고품질의 훈련 데이터를 생성할 수 있는가?
• RQ2 다국어 SRL에서 전통적인 애너테이션 프로젝션 또는 모델 전이와 비교해 번역 기반 방법의 성능는 어떠한가?
• RQ3 원본 소스 데이터와 번역된 목표 언어 데이터를 결합하면 여러 언어에서 SRL 성능 향상이 이루어지는가?
• RQ4 PGN-BiLSTM 아키텍처가 혼합 다국어 환경에서 언어 간 일반화 능력을 얼마나 향상시키는가?
• RQ5 다양한 언어 계열과 다중 소스 전이에서 소스 언어의 다양성이 증가함에 따라 성능 추세는 어떻게 변화하는가?

주요 결과

• 번역 기반 방법은 Universal Proposition Bank(UPB v1.0)의 일곱 개의 목표 언어에서 모두 SRL 성능을 크게 향상시켰으며, 기준 모델을 초월한다.
• 모든 언어에서 다중 소스 전이(모든 다른 언어를 각 목표 언어의 소스로 사용)가 가장 높은 성능를 기록하여, 훈련 데이터의 어휘적 다양성이 유의미한 이점을 제공함을 보여준다.
• PGN-BiLSTM 모델은 표준 BiLSTM CRF 모델보다 일관되게 성능 향상을 이끌어내며, 특히 언어별 문법적·의미적 패턴을 더 잘 포착한다.
• 의미 역할 간 거리가 멀어질수록 SRL 성능가 감소하지만, 제안된 방법은 긴 거리에서도 강력한 성능 유지를 보인다.
• 의미 역할의 F1 스코어는 빈도 기반 추세를 따르며, A0(주어)가 가장 높은 점수를 기록하고 A1(목적어)가 그 다음이며, A2 및 AM-TMP와 같은 덜 빈번한 역할은 낮지만 제안된 방법으로 인해 향상된 성능를 기록한다.
• PGN 모델 내 언어 ID 임베딩 간 유클리드 거리와 성능 추세가 상관관계를 보이며, 이는 유사도가 높은 언어 쌍이 다국어 전이에서 더 큰 이점을 얻음을 시사한다.