[논문 리뷰] On Using SpecAugment for End-to-End Speech Translation

Parnia Bahar, Albert Zeyer외 2명|RWTH Publications (RWTH Aachen)|2019. 11. 02.

Natural Language Processing Techniques참고 문헌 41인용 수 23

한 줄 요약

이 논문은 엔드 투 엔드 음성 번역(ST) 모델에서 음성 특징에 무작위 시간 및 주파수 마스킹을 적용하는 저비용 스펙트로그램 증강 기법인 SpecAugment을 조사한다. 과적합을 줄이고 일반화 능력을 향상시켜, 특히 자료가 적은 환경에서 +2.2% BLEU 향상(라이브리스피치 오디오북스 En→Fr)과 +1.2% BLEU 향상(아이웨슬트 테드강연 En→De)을 달성한다.

ABSTRACT

This work investigates a simple data augmentation technique, SpecAugment, for end-to-end speech translation. SpecAugment is a low-cost implementation method applied directly to the audio input features and it consists of masking blocks of frequency channels, and/or time steps. We apply SpecAugment on end-to-end speech translation tasks and achieve up to +2.2% BLEU on LibriSpeech Audiobooks En→Fr and +1.2% on IWSLT TED-talks En→De by alleviating overfitting to some extent. We also examine the effectiveness of the method in a variety of data scenarios and show that the method also leads to significant improvements in various data conditions irrespective of the amount of training data.

연구 동기 및 목표

• SpecAugment이 엔드 투 엔드 음성 번역 성능을 향상시키는지 평가하는 것.
• 과적합이 주요 과제가 되는 저자원 데이터 시나리오에서의 효과성을 조사하는 것.
• 학습 데이터 크기와 관계없이 모델의 일반화 능력과 강건성을 향상시키는지 평가하는 것.
• SpecAugment이 ST 모델에서 사전 훈련 전략과의 호환성을 가지는지 탐색하는 것.

제안 방법

• SpecAugment는 메르-스펙트로그램 특징에 무작위 마스킹을 적용한다: 연속된 시간 단위에 대한 시간 마스킹과 연속된 메르 주파수 채널에 대한 주파수 마스킹.
• 시간 마스킹은 τ개의 연속된 시간 프레임을 0으로 설정하며, τ는 [0, R]에서 균일하게 샘플링된다. 시작 위치 t는 [0, T)에서 균일하게 샘플링되어 인덱스 초과를 방지한다.
• 주파수 마스킹은 φ개의 연속된 주파수 버킷을 0으로 설정하며, φ는 [0, F]에서 균일하게 샘플링된다. 시작 주파수 f는 [0, ν)에서 균일하게 샘플링되며, ν는 메르 빈의 수이다.
• 복수의 마스킹은 중복 없이 적용되며, 시간 마스킹 수(mR)와 주파수 마스킹 수(mF)는 하이퍼파라미터이다.
• 이 방법은 훈련 중에만 적용되며, ST 모델에 입력하기 전의 원본 음성 특징에 적용되며, 모델 아키텍처를 수정하지 않는다.
• 이 접근법은 두 가지 ST 벤치마크에서 평가된다: 라이브리스피치 오디오북스 En→Fr 및 아이웨슬트 테드강연 En→De이며, 데이터 크기와 사전 훈련에 대한 분석도 포함된다.

실험 결과

연구 질문

• RQ1 SpecAugment은 저자원 음성 번역 작업에서 엔드 투 엔드 음성 번역 성능을 향상시키는가?
• RQ2 SpecAugment은 소규모에서 대규모까지 다양한 양의 학습 데이터에서 어떻게 성능을 발휘하는가?
• RQ3 제한된 병렬 음성-텍스트 데이터로 훈련된 엔드 투 엔드 ST 모델에서 과적합을 완화할 수 있는가?
• RQ4 SpecAugment은 ST 모델에서 사전 훈련 전략과 조합되었을 때도 효과적인가?

주요 결과

• SpecAugment는 기본 직접 ST 모델 대비 라이브리스피치 오디오북스 En→Fr에서 최대 +2.2% BLEU 향상, 아이웨슬트 테드강연 En→De에서 +1.2% BLEU 향상을 달성했다.
• 이 방법은 과적합을 줄이고 일반화 능력을 향상시켰으며, 모든 데이터 환경에서 일관된 성능 향상을 보였다. 특히 47,000개의 세그먼트로 데이터를 절반으로 줄였을 때도 유사한 성능 향상을 기록했다.
• 라이브리스피치에서, 사전 훈련과 결합한 SpecAugment는 개선된 모델 대비 0.5% BLEU 높은 18.5% BLEU를 달성했으며, 개선된 모델의 개선된 성능보다도 높았다.
• 학습 데이터를 47,000개 세그먼트로 줄였을 때, SpecAugment는 전체 데이터 기반 베이스라인 대비 1.8% 절대 BLEU 향상과 2.8% TER 감소를 기록했다.
• 이 방법은 LSTM 기반 및 트랜스포머 기반 엔드 투 엔드 ST 모델을 모두 능가했으며, 별도의 번역 모델을 사용한 지식 정복 기법과 동등한 성능을 달성했다.
• SpecAugment는 사전 훈련과 조합되었을 때도 효과적이었으며, 자료가 부족한 환경에서 사전 훈련을 보완하거나 부분적으로 대체할 수 있음을 시사한다.