[논문 리뷰] Semantic-preserved Communication System for Highly Efficient Speech Transmission

Tianxiao Han, Qianqian Yang외 3명|arXiv (Cornell University)|2022. 05. 25.

Speech Recognition and Synthesis인용 수 6

한 줄 요약

이 논문은 음성 인식에만 관련된 특징과 재구성에 필요한 최소한의 음성 관련이지만 의미적으로 관련 없는 특징만 전송하는 엔드 투 엔드 딥러닝 기반의 의미 통신 시스템을 제안한다. 소프트 애라이먼트, 중복 제거 및 사전 학습된 언어 모델을 활용한 의미 보정을 통해 음성 텍스트 전송 시 기존 방법 대비 전송 기호 수를 16%로 줄이고, 음성-음성 전송 시에는 0.2%로 줄여 전송 효율성에 상당한 향상을 이끌어내며 우수하거나 동등한 성능을 달성한다.

ABSTRACT

Deep learning (DL) based semantic communication methods have been explored for the efficient transmission of images, text, and speech in recent years. In contrast to traditional wireless communication methods that focus on the transmission of abstract symbols, semantic communication approaches attempt to achieve better transmission efficiency by only sending the semantic-related information of the source data. In this paper, we consider semantic-oriented speech transmission which transmits only the semantic-relevant information over the channel for the speech recognition task, and a compact additional set of semantic-irrelevant information for the speech reconstruction task. We propose a novel end-to-end DL-based transceiver which extracts and encodes the semantic information from the input speech spectrums at the transmitter and outputs the corresponding transcriptions from the decoded semantic information at the receiver. For the speech to speech transmission, we further include a CTC alignment module that extracts a small number of additional semantic-irrelevant but speech-related information for the better reconstruction of the original speech signals at the receiver. The simulation results confirm that our proposed method outperforms current methods in terms of the accuracy of the predicted text for the speech to text transmission and the quality of the recovered speech signals for the speech to speech transmission, and significantly improves transmission efficiency. More specifically, the proposed method only sends 16% of the amount of the transmitted symbols required by the existing methods while achieving about 10% reduction in WER for the speech to text transmission. For the speech to speech transmission, it results in an even more remarkable improvement in terms of transmission efficiency with only 0.2% of the amount of the transmitted symbols required by the existing method.

연구 동기 및 목표

• 원시 데이터가 아닌 의미적 내용에 초점을 맞춰 전통적인 음성 전송의 비효율성을 해결하기 위해.
• 의미적으로 관련된 정보만 전송하여 음성 통신의 전송 오버헤드를 줄이기 위해.
• 피치, 지속시간, 전력과 같은 최소한의 음성 전용이지만 의미적으로 관련 없는 특징을 포함하여 고품질의 음성 재구성을 가능하게 하기 위해.
• 사전 학습된 언어 모델을 활용한 의미 보정 모듈을 통해 번역 정확도를 향상시키기 위해.
• 모델 수렴 속도를 가속화하면서 성능을 손상시키지 않는 두 단계 학습 전략을 개발하기 위해.

제안 방법

• 소프트 애라이먼트 모듈을 사용하여 음성 스펙트럼에서 오직 텍스트 관련 의미 특징만 추출하고 의미적으로 중복되는 내용은 기각한다.
• 중복 제거 모듈을 통해 잠재적 의미 특징을 최대 90%까지 감소시켜 전송 부담을 최소화한다.
• 빔 서치 기반 의미 디코더는 입력 시퀀스의 장거리 의존성을 포착하여 번역 정확도를 향상시킨다.
• 의미 보정 모듈은 사전 학습된 언어 모델을 통합하여 맥락적 의미 지식을 활용해 예측된 번역문을 정밀하게 보정한다.
• 음성-음성 전송을 위해 CTC 애라이먼트 모듈이 음소 수준의 음성 특징(지속시간, 피치, 전력, 화자 ID)을 추출하여 재구성에 기여한다.
• 두 단계 학습 전략은 먼저 의미 인코더와 디코더를 학습한 후, 전체 모델을 공동으로 미세조정하여 수렴 속도를 가속화한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 의미 통신 시스템이 음성 전송 시 전송 기호 수를 상당히 줄일 수 있는가, 동시에 인식 정확도는 유지되는가?
• RQ2 음성 스펙트럼 내 의미 중복을 어떻게 효과적으로 제거할 수 있는가, 동시에 번역 품질은 떨어지지 않는가?
• RQ3 사전 학습된 언어 모델이 의미 통신 프레임워크 내에서 번역 정확도 향상에 어느 정도 기여하는가?
• RQ4 최소한의 추가 음성 관련 특징(예: 피치, 지속시간)을 통해 최소한의 오버헤드로 고해상도 음성 재구성을 달성할 수 있는가?
• RQ5 두 단계 학습 전략이 음성 전용 엔드 투 엔드 의미 통신 시스템에서 수렴 속도를 효과적으로 가속화하는가?

주요 결과

• 제안된 방법은 음성-텍스트 전송 시 기존 최첨단 방법 대비 전송 기호 수를 16%로 줄여, 단어 오류률(WER)을 10% 감소시켰다.
• 음성-음성 전송 시, DeepSC-S 대비 전송 기호 수의 0.2%만을 전송하여 유사한 음성 품질을 달성하면서도 효율성은 극적으로 향상시켰다.
• 추가 음성 특징 없이 재구성된 음성의 MOS 점수는 참값과 유사하여 자연스러움을 잘 유지하고 있음을 시사하며, 예측 지속시간이 길어진 점을 감안해도 우수한 품질을 보였다.
• MCD(Mel-cepstrum distance) 결과는 추가 음성 특징이 있는 경우에 유의미한 향상을 보여, 스펙트럼 재구성 정확도가 향상되었음을 확인했다.
• 중복 제거 모듈은 잠재적 의미 특징을 90% 감소시켜 의미적으로 중복되는 내용을 효과적으로 억제함을 입증했다.
• 두 단계 학습 전략은 실험 결과로 검증되었듯이 모델 수렴 속도를 가속화했으며, 최종 성능에 영향을 주지 않았다.