[논문 리뷰] End-to-End Spoken Language Translation

Michelle Guo, Albert Haque외 1명|arXiv (Cornell University)|2019. 04. 23.

Natural Language Processing Techniques참고 문헌 45인용 수 5

한 줄 요약

이 논문은 음성 문장을 입력으로 받아 다른 언어로 직접 번역하는 엔드 투 엔드 음성 번역 모델을 제시한다. 입력과 출력으로 스펙트로그램을 사용하며, 피라미드형 양방향 순환 신경망과 컨볼루션 인코더, 어텐션 기반 디코딩을 조합함으로써 다국어 데이터셋에서 경쟁적인 성능을 달성하고, 예측되지 않은 화자에게도 일반화되며, 중간 텍스트 표현 없이 직접 음성에서 음성으로의 번역이 가능하다는 것을 입증한다.

ABSTRACT

In this paper, we address the task of spoken language understanding. We present a method for translating spoken sentences from one language into spoken sentences in another language. Given spectrogram-spectrogram pairs, our model can be trained completely from scratch to translate unseen sentences. Our method consists of a pyramidal-bidirectional recurrent network combined with a convolutional network to output sentence-level spectrograms in the target language. Empirically, our model achieves competitive performance with state-of-the-art methods on multiple languages and can generalize to unseen speakers.

연구 동기 및 목표

• 중간 텍스트 표현 없이 완전히 미분 가능한 엔드 투 엔드 모델을 개발하여 음성 언어 번역을 수행한다.
• 다양한 언어 간 음성 문장의 장기적 시간적 의존성을 모델링하는 과제를 해결한다.
• 훈련을 위한 다국어, 다화자 음성 문장 데이터셋을 수집하기 위한 확장 가능하고 프로그래밍 가능한 방법을 개발한다.
• 모델이 미세조정 없이도 예측되지 않은 화자와 언어로 일반화할 수 있는 능력을 평가한다.
• 문장 수준의 음성 표현이 스펙트로그램에서 직접 효과적으로 학습되고 번역될 수 있음을 입증한다.

제안 방법

• 모델은 입력과 출력을 텍스트가 아닌 연속적인 음성 표현으로 간주하는 스펙트로그램에서 스펙트로그램으로의 접근 방식을 사용한다.
• 계층적 시간적 의존성을 캡처하고 시퀀스 길이를 줄이기 위해 인코더에 피라미드형 양방향 순환 신경망(P-BiRNN)을 사용한다.
• 지역적 시간 패턴을 추출하고 7×7 커널을 통해 차원을 감소시키기 위해 인코더에 컨볼루션 신경망(CNN)을 적용한다.
• 디코더는 Listen-Attend-Spell과 TacoTron에서 영감을 얻어 타겟 언어의 스펙트로그램을 자동으로 순차적으로 생성한다.
• 모델는 스펙트로그램 복원에 대해 평균 제곱 오차(MSE) 손실을 사용하여 엔드 투 엔드로 훈련되며, 어텐션, 양방향성, 다중 출력 디코딩과 같은 구성 요소를 평가하기 위한 추상화 연구가 수행된다.
• 프로그래밍 기반 문장 생성과 Google 번역을 활용하여 스펙트로그램을 교차 언어로 정렬한, 스펙트로그램을 기반으로 한 12명의 화자에 대한 새로운 데이터셋을 수집하였다.

실험 결과

연구 질문

• RQ1 중간 텍스트 표현 없이 완전히 엔드 투 엔드 모델이 한 언어의 스펙트로그램에서 다른 언어의 스펙트로그램으로 음성 문장을 직접 번역할 수 있는가?
• RQ2 컨볼루션 인코딩을 갖춘 피라미드형 양방향 RNN이 다국어 문장 수준의 음성 패턴을 얼마나 효과적으로 캡처하는가?
• RQ3 추론 도중 모델이 얼마나 잘 예측되지 않은 화자와 언어로 일반화되는가?
• RQ4 어텐션, 양방향성, 다중 출력 디코딩과 같은 아키텍처 구성 요소가 번역 품질과 훈련 효율성에 미치는 영향은 무엇인가?
• RQ5 어떤 명시적 단어 수준의 감독 없이도, 빅램과 트리거램에서 훈련된 학습된 표현이 단어 수준의 의미를 인코더 공간에서 효과적으로 포착할 수 있는가?

주요 결과

• CNN 강화 인코더를 사용할 경우 스펙트로그램 복원 오차가 5.8×10⁻²로 기록되었으며, 기본 모델(6.2×10⁻²)과 다른 구성 요소보다 우수한 성능을 보였다.
• DMO-3(디코더 다중 출력) 버전이 가장 낮은 오차(2.3×10⁻¹)를 기록했고, 파라미터 수가 줄어들어(6.14×10⁶) 더 빠른 훈련과 더 좋은 일반화 성능을 보였다.
• 정성적 결과는 모델이 빗자국 같은 스펙트로그램 패턴과 트리거램 입력에 대해 명확한 단어 경계를 성공적으로 생성했음을 보여주며, 이는 예측되지 않은 화자에게도 적용 가능했다.
• t-SNE 시각화 결과는 단어 수준의 의미 있는 분리 가능한 임베딩을 인코더 공간에서 효과적으로 학습했음을 확인했으며, 이는 단어 수준의 감독 없이 빅램에서 훈련된 결과임에도 불구하고 성립했다.
• 모델는 예측되지 않은 화자에게도 잘 일반화되었으며, 훈련 세트에 포함되지 않은 화자로부터의 빅램 및 트리거램 입력에 대해 양호한 결과를 보였다.
• 추상화 연구 결과, CNN과 어텐션 메커니즘이 측정 가능한 향상을 이끌었으며, CNN은 시퀀스 길이를 줄이고 맥락 모델링을 향상시켰다.