[논문 리뷰] Curriculum Pre-training for End-to-End Speech Translation

Chengyi Wang, Yu Wu외 3명|arXiv (Cornell University)|2020. 04. 21.

Natural Language Processing Techniques참고 문헌 30인용 수 14

한 줄 요약

이 논문은 종단간 음성 번역을 위한 커리큘럼 사전학습 방법을 제안하며, 점진적으로 음성 인식(ASR), 문장 이해(프레임 기반 마스킹 언어 모델링), 그리고 다국어 단어 매핑(프레임 기반 이중어사전 번역)을 통해 인코더를 훈련시킵니다. 이 방법은 LibriSpeech En-De 및 IWSLT18 En-Fr 벤치마크에서 성능을 크게 향상시켜, LibriSpeech 확장 설정에서 18.01 BLEU, IWSLT 기본 설정에서 16.27 BLEU를 달성합니다.

ABSTRACT

End-to-end speech translation poses a heavy burden on the encoder, because it has to transcribe, understand, and learn cross-lingual semantics simultaneously. To obtain a powerful encoder, traditional methods pre-train it on ASR data to capture speech features. However, we argue that pre-training the encoder only through simple speech recognition is not enough and high-level linguistic knowledge should be considered. Inspired by this, we propose a curriculum pre-training method that includes an elementary course for transcription learning and two advanced courses for understanding the utterance and mapping words in two languages. The difficulty of these courses is gradually increasing. Experiments show that our curriculum pre-training method leads to significant improvements on En-De and En-Fr speech translation benchmarks.

연구 동기 및 목표

• 기존 사전학습 방법은 음성 인식에만 집중하고 고차원적 언어학적 및 다국어 지식을 간과한다는 한계를 해결하기 위해.
• 사전학습 단계에서 인코더에 의미 이해력과 이중어 매핑 능력을 부여하여 디코더의 부담을 줄이기 위해.
• 어려움이 증가하는 구조적인 커리큘럼을 통해 종단간 음성 번역 성능을 향상시키기 위해.
• 특정 작업에 맞는 레이어 할당을 포함한 계층적 사전학습 전략이 모델 학습과 전이 능력을 향상시키는지 조사하기 위해.

제안 방법

• 세 단계 커리큘럼 사전학습 파이프라인 제안: (1) 음성 인식(ASR) 사전학습, (2) 문장 의미를 학습하기 위한 프레임 기반 마스킹 언어 모델링(FMLM), (3) 다국어 단어 매핑을 학습하기 위한 프레임 기반 이중어사전 번역(FBLT).
• 완전한 단어 정렬 음성 세그먼트를 마스킹하고, 인코더가 마스킹된 내용을 예측하도록 훈련시켜 문법적 및 의미적 이해를 촉진하는 FMLM 작업 설계.
• 각 소스 단어 정렬 음성 세그먼트에 대해 목표 언어 단어를 예측하도록 하는 FBLT 작업 설계로, 명시적인 다국어 지도를 제공.
• 계층적 사전학습 구현: 첫 8개의 인코더 레이어는 ASR 및 FMLM에서 훈련되고, 마지막 4개 레이어는 FBLT에서 훈련되어 계층별 특화를 가능하게 함.
• 이중 단계 훈련 전략 적용: 먼저 ASR 및 FMLM에서 사전학습한 후, FBLT에서 미세조정하여 안정적인 학습 진행 보장.
• 하이퍼파라미터 최적화, 특히 ASR 및 FMLM 사전학습에 사용되는 레이어 수 $N$에 대해 분석하여 $N=8$일 때 성능이 최적임을 확인.

실험 결과

연구 질문

• RQ1 점차 복잡도가 증가하는 작업—인식, 문장 이해, 다국어 매핑—으로 인코더를 사전학습하면 종단간 음성 번역 성능이 향상되는가?
• RQ2 프레임 기반 마스킹 언어 모델링(FMLM)을 도입하면 인코더의 문장 수준 의미 이해 능력이 향상되는가?
• RQ3 프레임 기반 이중어사전 번역(FBLT)은 인코더가 언어 간 단어 매핑을 효과적으로 학습하고 디코더의 부담을 줄이는 데 기여하는가?
• RQ4 단일 단계 또는 다중작업 사전학습보다 계층적이고 다단계 커리큘럼 사전학습 전략이 더 효과적인가?
• RQ5 다양한 사전학습 작업에 대해 인코더 레이어 할당 방식을 어떻게 선택하느냐가 최종 ST 성능에 미치는 영향은 무엇인가?

주요 결과

• 제안된 커리큘럼 사전학습 방법은 LibriSpeech 확장 설정에서 18.01 BLEU를 달성하여 기준 E2E Transformer ST 모델보다 유의미하게 뛰어나다.
• IWSLT18 기본 설정에서 16.27 BLEU를 기록하여 이전 최고 성능을 낸 분리 모델(LSTM ASR+MT)의 14.0 BLEU를 초월한다.
• 제거 실험 결과, FMLM 또는 FBLT 작업을 제거하면 성능이 떨어지며(각각 17.62 및 17.65 BLEU), 두 작업 모두 유익함을 확인.
• 두 번째 사전학습 단계(즉, ASR만 훈련)를 제거하면 성능이 16.90 BLEU로 크게 하락하여 고급 과정의 필요성을 입증.
• 다중작업 사전학습(ASR, FMLM, FBLT를 한 단계에서 병행)은 커리큘럼 학습(14.82 BLEU)보다 성능이 열 劣하므로, 단계적 학습이 더 효과적임을 시사.
• 최적의 하이퍼파라미터 설정은 ASR 및 FMLM 사전학습에 8개 레이어를 사용하고, 나머지 4개 레이어는 FBLT에 할당하며, 이로써 최고의 BLEU 점수 18.01을 달성.