[논문 리뷰] Evaluating Gender Bias in Speech Translation

Marta R. Costa‐jussà, Christine Basta외 1명|arXiv (Cornell University)|2020. 10. 27.

Natural Language Processing Techniques인용 수 7

한 줄 요약

이 논문은 성별 편향을 평가하기 위한 무료 도전 세트인 WinoST를 소개한다. 이는 기계 번역(MT) 분야의 WinoMT 기준에 영감을 얻어 개발되었으며, S-Transformer 기반의 종단 간 음성 번역(ST) 시스템을 사용해 네 가지 어휘 쌍(en-de, en-es, en-fr, en-it)에서 성별 정확도를 평가한다. 그 결과, ST에서 성별 정확도가 MT보다 유의미하게 낮게 나타났으며, 특히 형태적 특징이 뚜렷한 언어에서 성고정관념 역할 번역에 더 높은 편향이 존재함을 확인했다. 특히 en-it 언어 쌍에서 성별 정확도는 37.3%에 그쳤다.

ABSTRACT

The scientific community is increasingly aware of the necessity to embrace pluralism and consistently represent major and minor social groups. Currently, there are no standard evaluation techniques for different types of biases. Accordingly, there is an urgent need to provide evaluation sets and protocols to measure existing biases in our automatic systems. Evaluating the biases should be an essential step towards mitigating them in the systems. This paper introduces WinoST, a new freely available challenge set for evaluating gender bias in speech translation. WinoST is the speech version of WinoMT which is a MT challenge set and both follow an evaluation protocol to measure gender accuracy. Using a state-of-the-art end-to-end speech translation system, we report the gender bias evaluation on four language pairs and we show that gender accuracy in speech translation is more than 23% lower than in MT.

연구 동기 및 목표

• 음성 번역 시스템에서 성별 편향에 대한 표준화된 평가 프로토콜의 부족을 해결하기 위해.
• 성별 편향을 객관적으로 측정할 수 있는 대규모 다국어 도전 세트를 개발하기 위해.
• 기존 기계 번역 분야에서 사용된 WinoMT 평가 프로토콜을 음성 번역 영역으로 확장하기 위해.
• 특히 성격을 나타내는 언어에서 성고정관념 번역 오류를 폭 드러내고 정량화하기 위해.
• 체계적인 편향 탐지 및 완화를 가능하게 하여 장기적으로 자연어 처리 분야의 공정성 확보를 지원하기 위해.

제안 방법

• WinoMT에 영감을 얻어 개발된 합성 다국어 도전 세트인 WinoST를 제안하며, 핵심 참조 성격의 대명사와 성별이 명시된 실체를 포함한 총 3,888개 문장을 수록한다.
• 기존 WinoMT 평가 프로토콜을 ST에 적응시켜, 번역에서 성별 일치 여부에 기반한 성별 정확도를 측정한다.
• 종단 간 S-Transformer 모델을 사용해 네 가지 언어 쌍(en-de, en-es, en-fr, en-it)에서 성별 편향을 평가한다.
• 예측된 성별을 기준으로 금본 레이블과 비교해 성별 정확도를 평가하며, 정확도, △G(성별 불균형), △S(고정관념 편향) 등의 지표를 계산한다.
• 음성 인식(ASR) 구성 요소를 별도로 분석해 전사 단계에서 발생하는 성별 편향을 분리 분석하며, 전체 정확도 및 대명사 예측 정확도를 사용한다.
• 성고정관념 및 반고정관념 직업을 포함한 통제된 문장 템플릿을 활용해 번역에서의 성별 편향 추론을 탐지한다.

실험 결과

연구 질문

• RQ1 여러 언어 쌍에서 음성 번역의 성별 편향은 기계 번역과 비교해 어떻게 다를까?
• RQ2 ST 시스템은 맥락적 핵심 참조에 기반해 실체의 성별을 얼마나 정확히 유지하는가?
• RQ3 형태적 특징이 뚜렷한 언어(스페인어, 이탈리아어 등)에서 성고정관념 역할은 번역 정확도에 어떤 영향을 미치는가?
• RQ4 ASR는 맥락 수준에서 ST의 성별 편향에 어떤 기여를 하는가?
• RQ5 WinoST 벤치마크는 ST 시스템의 성별 편향을 탐지하고 정량화할 수 있는가, 특히 대명사 및 명사의 성별 일치 여부와 관련하여?

주요 결과

• ST에서의 성별 정확도는 MT에 비해 유의미하게 낮으며, en-it 언어 쌍에서 가장 낮은 점수인 37.3%를 기록해 번역에서 높은 성별 편향이 존재함을 시사한다.
• △G 지표(성별 불균형)는 en-es(25.7)와 en-it(23.6)에서 가장 높아 번역에서 남성형 형태를 강하게 선호함을 보여준다.
• △S 지표(고정관념 편향)는 en-es(12.3)와 en-fr(14.5)에서 가장 높아 성고정관념 역할 번역이 더 자주 정확하게 번역됨을 의미한다.
• ASR 시스템은 맥락 수준에서 성별 편향이 거의 없었으며, 철자 오류를 제거한 후 대명사 예측 정확도가 98.72%에 이르렀다.
• 전반적인 ST 성능은 낮지만, MT 대비 △G 및 △S 지표에서 상대적으로 향상된 성능를 보여, 맥락이 ST에서 편향을 부분적으로 완화시킬 수 있음을 시사한다.
• 합성 벤치마크인 WinoST가 성별 편향 탐지에 효과적임을 확인했지만, 일부 인위적인 패턴이 유입될 수 있음을 시사한다.