[논문 리뷰] Self-Training for End-to-End Speech Translation

Juan Pino, Qiantong Xu외 3명|arXiv (Cornell University)|2020. 06. 03.

Natural Language Processing Techniques참고 문헌 28인용 수 4

한 줄 요약

이 논문은 캐스케이드 ASR+MT 시스템 또는 엔드투엔드 ST 모델을 사용하여 비라벨된 오디오에서 가짜 레이블을 활용하는 자기학습 프레임워크를 제안한다. 이는 MuST-C 영어-프랑스어 및 영어-독일어 설정에서 최신 기술 성능을 달성하며, 강력한 반감독 기반 모델 대비 각각 8.3 및 5.7 BLEU 향상을 기록한다.

ABSTRACT

One of the main challenges for end-to-end speech translation is data scarcity. We leverage pseudo-labels generated from unlabeled audio by a cascade and an end-to-end speech translation model. This provides 8.3 and 5.7 BLEU gains over a strong semi-supervised baseline on the MuST-C English-French and English-German datasets, reaching state-of-the art performance. The effect of the quality of the pseudo-labels is investigated. Our approach is shown to be more effective than simply pre-training the encoder on the speech recognition task. Finally, we demonstrate the effectiveness of self-training by directly generating pseudo-labels with an end-to-end model instead of a cascade model.

연구 동기 및 목표

• 비라벨 오디오 데이터를 활용하여 엔드투엔드 음성 번역에서 데이터 부족 문제를 해결한다.
• 캐스케이드(ASR+MT) 및 엔드투엔드 모델을 사용한 가짜 레이블링의 효과성을 조사한다.
• 자기학습이 ASR 작업에서 전통적인 인코더 사전학습보다 우수한 성능을 내는지 입증한다.
• 가짜 레이블 품질과 모델 아키텍처 스케일링이 성능에 미치는 영향을 평가한다.
• 가짜 레이블 생성을 위한 캐스케이드 시스템 대신 엔드투엔드 모델을 사용하여 모델 학습을 단순화한다.

제안 방법

• 강력한 캐스케이드 ASR 및 MT 시스템을 사용해 비라벨 오디오에서 가짜 레이블을 생성하고, 이를 바탕으로 엔드투엔드 ST 모델을 미세조정한다.
• 동일한 비라벨 오디오 데이터를 사용해 엔드투엔드 ST 모델을 학습시켜 가짜 레이블을 생성함으로써 완전히 엔드투엔드 자기학습을 가능하게 한다.
• ST 모델 및 가짜 레이블 생성 모델 모두에 VggT와 VggTLarge Transformer 아키텍처를 사용하며, 인코더 및 디코더 구성 요소를 공유한다.
• 매우 짧거나 긴 발화를 제거하기 위해 데이터 필터링을 적용하고, 10,000개의 어휘를 가진 유니그램 모델을 사용해 SentencePiece를 통해 서브워드 토크나이제이션을 수행한다.
• 가짜 레이블링 이후 원래의 감독 데이터를 사용해 최종 ST 모델을 미세조정하여 일반화 성능을 향상시킨다.
• Adam 옵timizer를 사용하고, 각 아키텍처에 맞는 학습률 스케줄링을 적용한다(기존 LSTM: 고정 학습률; Transformer: 원본 스케줄링).

실험 결과

연구 질문

• RQ1 비라벨 오디오에서 유도된 가짜 레이블을 활용한 자기학습이 저자원 및 고자원 설정 모두에서 엔드투엔드 음성 번역 성능을 크게 향상시킬 수 있는가?
• RQ2 가짜 레이블의 품질이 최종 ST 모델의 성능에 어떤 영향을 미치는가?
• RQ3 가짜 레이블을 활용한 자기학습이 ASR 작업에서 인코더 사전학습보다 더 효과적인가?
• RQ4 캐스케이드 ASR+MT 시스템에 의존하지 않고 엔드투엔드 ST 모델을 사용해 가짜 레이블을 생성할 수 있는가?
• RQ5 가짜 레이블 데이터를 활용해 모델 크기를 확장하면 성능 향상이 추가로 이루어지는가?

주요 결과

• 캐스케이드 모델에서 유도된 가짜 레이블을 활용한 자기학습은 MuST-C 영어-프랑스어 설정에서 8.3 BLEU 향상, 영어-독일어 설정에서 5.7 BLEU 향상을 기록하며 최신 기술 성능을 달성했다.
• 17,607시간의 LibriLight 데이터를 사용한 고자원 설정에서, 가짜 레이블링은 En-De에서 23.9 BLEU를 기록했고, 인코더 사전학습 대비 2.9 BLEU 우수했다.
• 고자원 설정에서 VggT 엔드투엔드 모델을 사용해 가짜 레이블을 생성한 결과, 캐스케이드 모델 대비 0.7 BLEU 우수한 성능을 기록했다.
• 가짜 레이블의 품질은 성능에 직접적인 영향을 미치며, 더 높은 품질의 ASR 전사본(7.3 WER)은 낮은 품질의 전사본(27.7 WER)보다 더 높은 BLEU 점수를 기록했다.
• 순수 자기학습(감독 데이터만 사용)을 수행한 경우에도 기준 모델 대비 성능 향상이 있었으며, 이는 엔드투엔드 모델이 프로세스를 자동으로 부트스트랩할 수 있음을 보여준다.
• 이 방법을 통해 이전에는 학습이 어려웠던 대규모 모델(예: VggTLarge)의 학습이 가능해졌고, 이로 인해 상당한 성능 향상이 이루어졌다.