[논문 리뷰] Data Augmentation for Sign Language Gloss Translation

Amit Moryossef, Kayo Yin외 2명|arXiv (Cornell University)|2021. 05. 16.

Natural Language Processing Techniques참고 문헌 25인용 수 5

한 줄 요약

이 논문은 수수어 어휘-문장 번역을 위한 규칙 기반 데이터 증강 기법을 제안하며, 수수어와 구어어 언어 간의 높은 어휘 유사성과 문법적 다름을 활용한다. 문법 인식 재정렬 히우리즘을 사용해 단일 언어의 구어어 데이터로부터 합성된 어휘-문장 쌍을 생성함으로써, 저자원 환경에서 ASL-영어 및 DGS-독일어 번역 성능을 각각 최대 3.14 및 2.20 BLEU 향상시켰으며, 백번역 및 기준 모델보다 우수한 성능을 보였다.

ABSTRACT

Sign language translation (SLT) is often decomposed into video-to-gloss recognition and gloss-to-text translation, where a gloss is a sequence of transcribed spoken-language words in the order in which they are signed. We focus here on gloss-to-text translation, which we treat as a low-resource neural machine translation (NMT) problem. However, unlike traditional low-resource NMT, gloss-to-text translation differs because gloss-text pairs often have a higher lexical overlap and lower syntactic overlap than pairs of spoken languages. We exploit this lexical overlap and handle syntactic divergence by proposing two rule-based heuristics that generate pseudo-parallel gloss-text pairs from monolingual spoken language text. By pre-training on the thus obtained synthetic data, we improve translation from American Sign Language (ASL) to English and German Sign Language (DGS) to German by up to 3.14 and 2.20 BLEU, respectively.

연구 동기 및 목표

• 수수어 번역에서 병렬 어휘-문장 데이터의 극도로 부족한 문제를 해결하기 위해.
• 단일 언어의 구어어 데이터가 저자원 수수어 번역에 효과적으로 활용될 수 있는지 조사하기 위해.
• 수수어와 구어어 언어 간의 어휘 유사성과 문법적 다름을 활용하는 규칙 기반 히우리즘을 개발하기 위해.
• 합성 데이터의 효과성을 평가하여 제로샷 및 미세조정된 번역 성능 향상 여부를 확인하기 위해.
• 백번역이 극도로 저자원 수수어 환경에서는 효과가 없음을 입증하기 위해.

제안 방법

• 단일 언어의 구어어 텍스트에서 가짜 병행 어휘-문장 쌍을 생성하기 위해 일반형 및 특정형 두 가지 규칙 기반 히우리즘을 제안한다.
• 일반 규칙는 어휘 내용을 유지하면서 무작위 어순 재배열을 적용해 다양한 문법적 변형을 생성한다.
• 특정 규칙는 대상 언어(예: 독일어)에 맞게 조정되어 있으며, 언어별 어순 패턴에 기반한 문법적 변환을 적용한다.
• 실제 병행 데이터로의 제로샷 평가 또는 미세조정 전에 합성 데이터로 모델을 사전학습한다.
• 효율성과 OOV 처리를 위해 2,000개의 서어단위를 사용하는 BPE 토크나이저를 적용한다.
• SacreBLEU와 COMET을 사용해 기준 모델, 백번역, 증강 방법을 두 데이터셋에서 비교 평가한다.

실험 결과

연구 질문

• RQ1 단일 언어의 구어어 데이터를 활용한 규칙 기반 데이터 증강이 저자원 수수어 어휘-문장 번역 성능 향상에 기여하는가?
• RQ2 극도로 저자원 수수어 환경에서 규칙 기반 증강 기법과 백번역 간의 성능 비교는 어떻게 되는가?
• RQ3 일반 재배열 히우리즘에 비해 언어별 문법 규칙이 얼마나 번역 품질 향상에 기여하는가?
• RQ4 합성 데이터로 사전학습한 모델이 실제 병행 테스트 세트에 대해 제로샷 일반화를 달성할 수 있는가?
• RQ5 수수어와 구어어 언어 간의 문법적 다름이 수수어 번역의 데이터 증강에 활용 가능한가?

주요 결과

• 특정형-사전학습(Specific- pre)은 PHOENIX에서 7.26 BLEU를 기록하여 일반형-사전학습(Gen- pre)의 3.95 BLEU보다 유의미하게 높은 성능을 보였으며, 언어별 문법 규칙이 더 효과적임을 시사한다.
• 일반형-미세조정(General- tuned)은 PHOENIX에서 23.35 BLEU를 기록하여 기준 모델 대비 2.20 BLEU 향상되었으며, 일반 규칙 기반 증강의 강력한 성능 향상을 입증한다.
• 특정형-미세조정(Specific- tuned)은 PHOENIX에서 23.17 BLEU를 기록하여 기준 모델을 뚜렷이 뛰어넘었으며, 맞춤형 문법 히우리즘의 효과성을 확인한다.
• 합성 데이터로만 학습한 모델(Specific- pre)이 PHOENIX에서 7.26 BLEU를 기록하여, 합성 데이터로만 사전학습해도 의미 있는 성능을 달성할 수 있음을 보여준다.
• 백번역(BT- tuned)은 규칙 기반 방법보다 성능이 열등하여, 병행 데이터가 너무 부족할 경우 백번역이 효과가 없음을 시사한다.
• 실제 병행 데이터가 제한된 조건에서 증강 기법의 성능 향상 효과가 가장 두드러지며, ASL-영어 번역에서 최대 3.14 BLEU 향상이 관찰되었다.