[논문 리뷰] Machine Translation between Spoken Languages and Signed Languages Represented in SignWriting

Zifan Jiang, Amit Moryossef외 2명|Zurich Open Repository and Archive (University of Zurich)|2022. 10. 11.

Hand Gesture Recognition Systems인용 수 4

한 줄 요약

이 논문은 청각 언어와 수어를 중간으로 표기된 SignWriting을 사용하여 구두 언어 간의 처음으로 종단 간 기계 번역 시스템을 제안한다. SignWriting 문장을 분석하고 인과를 분리하여 평가하기 위해 신경망 기반의 인과 기반 기계 번역 기법을 적용함으로써, 저자들은 双어 번역(ASL→영어)에서 30 이상, 다어 번역 환경에서 20 이상의 BLEU 점수를 달성하였다. 이는 표준 자연어 처리 기법이 구조화된 기호 표현 방식을 통해 수어 번역에 효과적으로 기여할 수 있음을 보여준다.

ABSTRACT

This paper presents work on novel machine translation (MT) systems between spoken and signed languages, where signed languages are represented in SignWriting, a sign language writing system. Our work seeks to address the lack of out-of-the-box support for signed languages in current MT systems and is based on the SignBank dataset, which contains pairs of spoken language text and SignWriting content. We introduce novel methods to parse, factorize, decode, and evaluate SignWriting, leveraging ideas from neural factored MT. In a bilingual setup--translating from American Sign Language to (American) English--our method achieves over 30 BLEU, while in two multilingual setups--translating in both directions between spoken languages and signed languages--we achieve over 20 BLEU. We find that common MT techniques used to improve spoken language translation similarly affect the performance of sign language translation. These findings validate our use of an intermediate text representation for signed languages to include them in natural language processing research.

연구 동기 및 목표

• 수어 번역 지원이 부족한 현재의 기계 번역 시스템 문제를 해결하기 위해 SignWriting을 사용한 기호 중간 표현 방식을 도입하기 위해.
• 수어 쓰기 체계를 활용하여 구두 언어 텍스트와 수어 콘텐츠 간의 종단 간 번역을 가능하게 하기 위해.
• SignWriting의 고유한 언어적 구조, 즉 기호 분석 및 위치 인과 분리 등을 고려하여 신경 기반 인과 기반 기계 번역 기법을 적응시키기 위해.
• SignWriting의 그림적이고 공간적인 특징을 반영한 평가 전략을 포함하여 표준 NLP 평가 지표와 함께 수어 번역 성능을 평가하기 위해.
• 기존의 저자원 기계 번역 기법이 수어 번역에 이식 가능하고 효과적임을 입증함으로써, 자연어 처리 연구 분야에 수어의 포함을 촉진하기 위해.

제안 방법

• 저자들은 병렬로 제공되는 구두 언어 텍스트와 해당하는 SignWriting 문장 쌍을 포함하는 SignBank 데이터셋을 사용하여 번역 모델을 훈련시켰다.
• SignWriting 문장을 구성 기호(기호), 구두점, 공간 표시자로 분할하기 위한 새로운 분할 방법을 제안하였다.
• 기호와 위치 수치 등 독립적인 언어적 요소로 SignWriting을 분리하는 인과 전략을 적용하여 신경 기반 인과 기반 기계 번역을 가능하게 하였다.
• 기호 예측에는 교차 엔트로피 손실, 위치 수치 예측에는 평균 절대 오차(MAE)를 사용하여 훈련하였으며, 공간적 관계 유지에 중점을 두었다.
• 공유된 다어 아키텍처를 사용하여 구두 언어에서 SignWriting으로, 그리고 반대로의 양방향 번역을 지원하였다.
• 평가에는 기호 수준 정확도 평가로 BLEU 및 chrF2/chrF2++를, 위치 수치 예측 평가로 MAE를 사용하였으며, 그림 출력의 수동 검증도 실시하였다.

실험 결과

연구 질문

• RQ1 신경 기계 번역 모델이 구두 언어 텍스트와 수어의 기호 표현인 SignWriting 간에 효과적으로 번역을 학습할 수 있는가?
• RQ2 SignWriting에 적용했을 때, 표준 저자원 기계 번역 기법이 수어 번역 성능 향상에 어느 정도 기여하는가?
• RQ3 SignWriting의 고유한 언어적 특징—예를 들어 공간적 배치와 기호 조합—을 신경 번역 프레임워크에 효과적으로 모델링할 수 있는가?
• RQ4 특히 2차원 그림적 구조를 고려할 때, SignWriting 번역 출력 품질 평가에 가장 적합한 평가 지표는 무엇인가?
• RQ5 제한된 병렬 데이터를 기반으로 비-ASL/영어 언어 쌍에 대해 사전 기반 쌍을 사용할 경우, 다어 번역 설정을 효과적으로 훈련시킬 수 있는가?

주요 결과

• 미국 수어(ASL)에서 미국 영어로의 双어 번역 설정에서 제안된 방법은 30 이상의 BLEU 점수를 기록하여 고자원 수어 번역 작업에서 뛰어난 성능을 입증하였다.
• 두 개의 다어 번역 설정—즉, 구두 언어와 수어 간의 양방향 번역에서—시스템은 20 이상의 BLEU 점수를 달성하여, 저자원 조건에서도 효과적인 일반화 능력을 보였다.
• 데이터 증강 및 다어 모델링과 같은 공통된 저자원 기계 번역 기법이 번역 성능 향상에 크게 기여함을 확인하였으며, 이는 수어 번역 분야로의 이식 가능성과 효과성을 입증하였다.
• 모델에서 위치 수치를 별도의 요소로 분리함으로써 공간 표현 정확도가 향상되었으며, 이 구성 요소의 평가 지표로 MAE가 핵심으로 사용되었다.
• 현재 평가 관행의 한계를 드러내었으며, 특히 순서 정렬이 완벽하지 않을 경우 토큰 단위의 MAE 사용이 문제를 야기할 수 있음을 지적하였다.
• 그림 형태, 기호 조합, 위치 정확도, 분리된 구조를 평가한 후 최종적으로 인간 평가를 수행하는 계단식 평가 프레임워크를 제안하였다. 이는 종합적인 평가를 위한 것이다.