[논문 리뷰] Gender in Danger? Evaluating Speech Translation Technology on the MuST-SHE Corpus

Luisa Bentivogli, Beatrice Savoldi외 4명|arXiv (Cornell University)|2020. 06. 10.

Natural Language Processing Techniques참고 문헌 23인용 수 4

한 줄 요약

이 논문은 영어-이탈리아어 및 영어-프랑스어 방향에서 성별 편향을 평가하기 위한 다국어 벤치마크인 MuST-SHE를 소개한다. 음성 번역(ST) 시스템에서 캐스케이드형과 엔드 투 엔드 ST 시스템을 비교하며, 음성 신호가 성별 편향을 줄이는 데 기여할 수 있음을 밝힌다. 특히 화자 자신을 지칭하는 맥락에서 엔드 투 엔드 모델이 음성 신호를 효과적으로 활용해 성별 편향을 감소시키는 반면, 캐스케이드 모델은 외부 성별 태그에 의존해 유사한 성과를 내며, 음성이 ST에서 성별 편향을 완화하는 데 잠재적 역할을 할 수 있음을 시사한다.

ABSTRACT

Translating from languages without productive grammatical gender like English into gender-marked languages is a well-known difficulty for machines. This difficulty is also due to the fact that the training data on which models are built typically reflect the asymmetries of natural languages, gender bias included. Exclusively fed with textual data, machine translation is intrinsically constrained by the fact that the input sentence does not always contain clues about the gender identity of the referred human entities. But what happens with speech translation, where the input is an audio signal? Can audio provide additional information to reduce gender bias? We present the first thorough investigation of gender bias in speech translation, contributing with: i) the release of a benchmark useful for future studies, and ii) the comparison of different technologies (cascade and end-to-end) on two language directions (English-Italian/French).

연구 동기 및 목표

• 음성 신호가 텍스트 전용 입력에서 누락된 화자 성별 정보를 포함할 수 있음을 고려해, 음성 번역 시스템이 이를 활용해 성별 편향을 줄일 수 있는지 조사하기 위해.
• 성별 편향 평가를 위한 자연스럽고 균형 잡히며 세밀한 벤치마크가 부족한 문제를 해결하기 위해.
• 특히 화자 자신을 지칭하는 맥락에서 성별 언어 현상에 대해 캐스케이드(ASR + MT) 및 엔드 투 엔드 ST 시스템의 성능을 비교하기 위해.
• 영어-프랑스어 및 영어-이탈리아어를 대상으로 약 1,000개의 음성-번역-번역 쌍이 포함된 공개 가능한 다국어 벤치마크인 MuST-SHE를 제공하기 위해.
• 전체 시스템 정확도에서 성별 관련 성능을 분리해 더 정확한 편향 측정이 가능하도록 개선된 평가 방법을 개발하기 위해.

제안 방법

• 저자들은 MuST-C 코퍼스의 하위 집합인 MuST-SHE를 구축하여, 영어-이탈리아어 및 영어-프랑스어 두 언어 쌍에서 성별 관련 현상에 대해 약 1,000개의 (음성, 원문, 번역) 쌍을 주석 처리하였다.
• 코퍼스는 두 범주로 구성된다: 범주 1(화자가 자신을 지칭함)과 범주 2(화자가 다른 사람을 지칭함), 이를 통해 화자 의존적 성별 신호와 제3자 성별 신호를 분석할 수 있다.
• 본 연구는 캐스케이드 ST(ASR + MT) 및 엔드 투 엔드 ST 시스템을 평가하며, 후자는 음성-텍스트 쌍을 직접 학습하여 청각적 특징을 활용한다.
• 성별 편향을 측정하기 위해 'Diff' 지표를 사용하는 새로운 평가 프로토콜을 도입하였다. 이는 남성 및 여성 성별 클래스 간 성능 차이를 비교함으로써 성별 편향을 측정한다.
• 캐스케이드 시스템의 경우, 외부 태그를 통해 화자 성별 정보를 주입하는 오라클 버전인 Cascade+Tag를 사용하여 이러한 지식의 영향을 평가하였다.
• 평가 초점은 성별에 따라 달라지는 번역 오류, 특히 대명사 및 명사의 협조 오류에 맞추어져 있으며, 전체 정확도에서 성별 관련 성능을 분리하기 위해 보정된 BLEU 점수를 사용하였다.

실험 결과

연구 질문

• RQ1 텍스트에 명시적으로 성별 정보가 포함되어 있지 않은 경우, 음성 번역 시스템이 음성 신호를 활용해 번역의 성별 편향을 줄일 수 있는가?
• RQ2 화자가 자신을 지칭하는 맥락에서, 음성이 화자 신원 신호를 제공할 수 있는 경우, 엔드 투 엔드 ST 시스템과 캐스케이드 ST 시스템의 성능는 어떻게 비교되는가?
• RQ3 외부 태그를 통한 화자 성별 정보 주입이 캐스케이드 시스템의 성별 번역 성능에 얼마나 기여하는가?
• RQ4 성별 정보가 회화 맥락에서 추론되는 경우와 음성 신호에서 추출되는 경우에 따라 ST 시스템의 성능는 어떻게 달라지는가?
• RQ5 성별 협조가 뚜렷한 언어에서 음성 입력을 사용하는 것이 텍스트 전용 MT에 비해 성별 편향을 유의미하게 줄이는가?

주요 결과

• 엔드 투 엔드 ST 시스템은 음성 신호가 화자 성별을 드러낼 수 있는 범주 1(화자 자신을 지칭)에서 캐스케이드 시스템을 능가하며, 여성 클래스에서 유의미하게 낮은 성별 편향(낮은 'Diff' 값)을 기록한다.
• 캐스케이드 시스템은 범주 1에서 뚜렷한 성별 편향을 보이며, 특히 남성 형태를 선호하는 경향이 있어 여성 클래스에서 음성의 'Diff' 값이 음수로 나타나 체계적인 번역 오류가 발생한다.
• 범주 2(다른 사람을 지칭)에서는 성별 정보가 텍스트에 포함되어 있어, 엔드 투 엔드 시스템이 캐스케이드 시스템보다 성능이 열 劣하다. 이는 학습 데이터가 적고, 성별 인식에 강건한 음성 특징이 부족하기 때문일 것이다.
• Cascade+Tag 시스템은 화자 성별 정보를 주입함으로써 범주 1에서 최고의 성능을 기록하였으며, 이는 외부 성별 지식이 음성 기반 추론의 부족을 상쇄할 수 있음을 보여준다.
• MuST-SHE 벤치마크는 화자 성별이 번역 대상 성별과 일치하지 않을 경우, 엔드 투 엔드 및 Cascade+Tag 시스템이 특히 어려움을 겪는다는 것을 드러내며, 노이즈가 많거나 오해의 소지가 있는 음성 기반 성별 신호가 영향을 미칠 수 있음을 시사한다.
• 본 연구는 현재의 ST 시스템이 여전히 성별 편향에 영향을 받지만, 음성 입력이 화자 자신을 지칭하는 맥락에서는 실질적인 이점을 제공함을 확인한다. 이는 적절히 활용될 경우 음성이 편향 완화에 기여할 수 있음을 시사한다.