[논문 리뷰] SDST: Successive Decoding for Speech-to-text Translation.

Qianqian Dong, Mingxuan Wang외 4명|arXiv (Cornell University)|2020. 09. 21.

Natural Language Processing Techniques참고 문헌 36인용 수 4

한 줄 요약

이 논문은 직접적인 다중 모odal, 다중 언어 간 맵핑의 복잡성을 줄이기 위해 번역 과정을 순차적인 단계로 분리하는 successive decoding 프레임워크인 SDST를 제안한다. 두 가지 주요 데이터셋에서의 실험 결과, SDST는 이전 최고 성능 모델들보다 뚜렷한 향상을 이룩하였다.

ABSTRACT

End-to-end speech-to-text translation (ST), which directly translates the source language speech to the target language text, has attracted intensive attention recently. However, the combination of speech recognition and machine translation in a single model poses a heavy burden on the direct cross-modal cross-lingual mapping. To reduce the learning difficulty, we propose SDST, an integral framework with extbf{S}uccessive extbf{D}ecoding for end-to-end extbf{S}peech-to-text extbf{T}ranslation task. This method is verified in two mainstream datasets. Experiments show that our proposed \method improves the previous state-of-the-art methods by big margins.

연구 동기 및 목표

• 직접적인 다중 모달 및 다중 언어 맵핑으로 인해 발생하는 높은 학습 난이도를 해결하기 위해.
• 단일 모델 내에서 음성 인식과 기계적 번역의 복합적인 복잡성을 줄이기 위해.
• 순차적 디코딩을 통해 번역 품질을 향상시키는 통합 프레임워크를 설계하기 위해.
• 기존의 음성-텍스트 번역 벤치마크에서 제안된 방법의 효과성을 검증하기 위해.

제안 방법

• 순차적 디코딩 기반의 엔드 투 엔드 음성-텍스트 번역 프레임워크인 SDST를 제안한다.
• 다중 모달 및 다중 언어 맵핑의 복잡성을 줄이기 위해 번역 과제를 순차적 디코딩 단계로 분해한다.
• 진행적 디코딩을 통해 음성 인식 및 기계적 번역 컴포넌트를 통합된 아키텍처에 통합한다.
• 모델의 부담을 줄이기 위해 점진적으로 번역 출력을 정밀하게 다듬는 순차적 디코딩 전략을 적용한다.
• 표준 음성 인식 및 기계적 번역 목표를 사용하여 음성 입력과 목표 언어 텍스트 출력에 대해 엔드 투 엔드로 모델을 훈련시킨다.
• 디코딩 단계 간의 맥락을 유지하기 위해 어텐션 메커니즘과 시퀀스 모델링을 활용한다.

실험 결과

연구 질문

• RQ1 순차적 디코딩은 엔드 투 엔드 음성-텍스트 번역에서 학습 부담을 줄일 수 있는가?
• RQ2 SDST는 이전 최고 성능 모델들에 비해 번역 성능에서 어떻게 비교되는가?
• RQ3 제안된 프레임워크는 다양한 음성-텍스트 번역 데이터셋에 일반화되는가?
• RQ4 번역 과정을 순차적 단계로 분리하는 것이 모델 정확도에 어떤 영향을 미치는가?

주요 결과

• SDST는 두 가지 주요 음성-텍스트 번역 데이터셋에서 이전 최고 성능 모델들보다 뚜렷한 향상을 이룩하였다.
• 순차적 디코딩 전략은 직접적인 다중 모달, 다중 언어 맵핑의 복잡성을 효과적으로 줄였다.
• 학습 목표를 단순화하는 단계적 디코딩 과정 덕분에 모델이 뛰어난 성능을 발휘하였다.
• 다양한 벤치마크 데이터셋에서의 검증을 통해 프레임워크의 효과성과 일반화 능력이 확인되었다.