[논문 리뷰] Structured-based Curriculum Learning for End-to-end English-Japanese Speech Translation

Takatomo Kano, Sakriani Sakti외 1명|arXiv (Cornell University)|2018. 02. 13.

Natural Language Processing Techniques참고 문헌 14인용 수 7

한 줄 요약

이 논문은 종속어순이 다른 언어 쌍인 영어-일본어 번역을 위한 구조 기반 커리큘럼 학습(Curriculum Learning, CL) 방법을 제안한다. 이 방법은 주어-동사-목적어(SVO)와 목적어-동사-주어(SOV)의 어순 차이로 인해 어순 재배열이 어려운 영어-일본어 번역에 효과적이다. 먼저 음성 인식(ASR) 작업에서 주어-동사-목적어(SVO) 어순을 갖는 영어를 기반으로 어텐션 기반 인코더-디코더 모델을 훈련한 후, 점진적으로 번역(MT) 작업으로 전이한 다음, 직접 음성-텍스트 번역(ST)으로 최적화한다. 이 방법은 표준 종단간(end-to-end) 모델보다 번역 품질을 크게 향상시키며, 최고의 CL 기반 모델은 합성 영어-일본어 데이터셋에서 텍스트 기반 MT 및 계단식 ASR+MT 시스템을 모두 능가한다.

ABSTRACT

Sequence-to-sequence attentional-based neural network architectures have been shown to provide a powerful model for machine translation and speech recognition. Recently, several works have attempted to extend the models for end-to-end speech translation task. However, the usefulness of these models were only investigated on language pairs with similar syntax and word order (e.g., English-French or English-Spanish). In this work, we focus on end-to-end speech translation tasks on syntactically distant language pairs (e.g., English-Japanese) that require distant word reordering. To guide the encoder-decoder attentional model to learn this difficult problem, we propose a structured-based curriculum learning strategy. Unlike conventional curriculum learning that gradually emphasizes difficult data examples, we formalize learning strategies from easier network structures to more difficult network structures. Here, we start the training with end-to-end encoder-decoder for speech recognition or text-based machine translation task then gradually move to end-to-end speech translation task. The experiment results show that the proposed approach could provide significant improvements in comparison with the one without curriculum learning.

연구 동기 및 목표

• 영어-일본어와 같은 문법적으로 거리가 먼 언어 쌍에서 어순 재배열이 어려운 종단간 음성 번역 모델 훈련 문제를 해결하기 위해.
• 직접 종단간 훈련 방식에서의 불안정성과 수렴 불량 문제를 해결하기 위해, 구조 기반 커리큘럼 학습 전략을 도입하기 위해.
• 계단식 ASR+MT 시스템에서 오는 오류 전파를 줄이고, 파라링구이스틱 정보를 유지하기 위해 ASR과 MT를 별도로 연결하지 않기 위해.
• 더 단순한 작업에서 더 복잡한 작업으로 점진적으로 네트워크 구성 요소를 적응시킴으로써 모델 일반화 능력과 훈련 안정성을 향상시키기 위해.

제안 방법

• 이 방법은 종단간 음성 인식(ASR)에서 시작하여 점차적으로 텍스트 기반 기계 번역(MT)으로 전이된 후, 마지막으로 종단간 음성 번역(ST)으로 전이되는 구조 기반 커리큘럼 학습 전략을 사용한다.
• 훈련 과정은 단계적으로 진행되며, 첫 번째 단계는 ASR(원천 언어의 음성-텍스트)에서, 두 번째 단계는 MT(텍스트-텍스트 번역)에서, 마지막으로 종단간 ST(대상 언어의 음성-텍스트)에서 미세조정된다.
• 두 가지 CL 변종을 검토하였다: 빠른 전이(점진적 전이)와 느린 전이(더 점진적인 적응), 그 중 후자가 더 좋은 수렴 성능를 보였다.
• 네트워크 아키텍처는 공통된 초모수를 갖는 어텐션 기반 인코더-디코더를 사용하며, 2층의 LSTMs, 512개의 은닉 유닛, 그리고 고정된 초기 학습률 0.001을 사용하는 Adam 최적화 기법을 포함한다.
• CL 기반 모델은 ASR 및 MT 인코더와 디코더의 구성 요소를 통합하며, ASR 인코더는 MT 단계에서 과적합을 방지하기 위한 노이즈 제거 기능을 수행한다.
• 훈련 과정은 소프트맥스 교차 엔트로피 손실을 통해 모니터링되며, 번역 품질 평가에는 BLEU+1이 사용된다.

실험 결과

연구 질문

• RQ1 어순 차이(SVO 대 SOV)로 인해 어려움을 겪는 종단간 영어-일본어 음성 번역에서, 구조 기반 커리큘럼 학습이 훈련 안정성과 성능 향상에 기여하는가?
• RQ2 종단간 ST로의 미세조정 이전에 ASR 및 MT 작업에서 사전 훈련을 수행하면, 직접 종단간 훈련보다 더 나은 일반화 성능를 달성하는가?
• RQ3 왜 느린 전이(CL 유형 1) 전략이 빠른 전이(CL 유형 2)보다 성능이 뛰어나며, CL 유형 2는 수렴 실패를 겪는 원인은 무엇인가?
• RQ4 CL 프레임워크 내에서 ASR 및 MT 구성 요소의 통합은 모델의 강건성과 오류 내성에 어떤 영향을 미치는가?
• RQ5 더 단순한 작업에서 더 복잡한 작업으로 점진적으로 전이되는 커리큘럼 학습 방식이 계단식 ASR+MT 시스템의 성능을 뛰어넘을 수 있는가?

주요 결과

• 직접 종단간 ST 모델은 훈련 성능이 가장 열 劣하였으며, 15 에포크 동안 소프트맥스 교차 엔트로피 손실이 0.04 밖에 감소하지 않아 수렴 불량을 보였다.
• CL 기반 모델(CL 유형 1 - 느린 전이)가 가장 뛰어난 번역 성능를 기록하였으며, 텍스트 기반 MT 시스템과 계단식 ASR+MT 시스템을 BLEU+1 점수에서 모두 능가하였다.
• CL 유형 1 - 빠른 전이 모델은 직접 ST 기반 모델보다 유의미하게 향상되었으며, 커리큘럼 학습의 효과를 입증하였다.
• CL 유형 2 모델은 수렴 실패를 겪었으며, 주로 텍스트 기반 MT 인코더와 음성 기반 ASR 인코더 간의 큰 분포 이탈(distributional shift)이 원인으로 보인다.
• ASR 시스템은 9.4%의 단어 오류율(WER)을 기록하여, 음성 인식 사전 훈련 성분의 품질을 확인하였다.