[논문 리뷰] Semantic Communication Systems for Speech Transmission

Zhenzi Weng, Zhijin Qin|arXiv (Cornell University)|2021. 02. 24.

Speech and Audio Processing참고 문헌 38인용 수 6

한 줄 요약

이 논문은 비트 또는 기호 수준의 오차가 아닌 의미 수준의 오차를 최소화하는 데 초점을 맞춘, 음성 전송을 위한 딥러닝 기반 의미 통신 시스템인 DeepSC-S를 제안한다. 신경망 아키텍처에 압축-흥장 주의 메커니즘을 통합함으로써 DeepSC-S는 음성 신호 복원 정확도를 향상시키고 저 SNR 및 동적 채널 조건에서 뛰어난 강건성을 확보하며, 전통적 및 CNN 기반 시스템보다 전화 통신 및 멀티미디어 통신 시나리오 모두에서 뛰어난 성능을 발휘한다.

ABSTRACT

Semantic communications could improve the transmission efficiency significantly by exploring the semantic information. In this paper, we make an effort to recover the transmitted speech signals in the semantic communication systems, which minimizes the error at the semantic level rather than the bit or symbol level. Particularly, we design a deep learning (DL)-enabled semantic communication system for speech signals, named DeepSC-S. In order to improve the recovery accuracy of speech signals, especially for the essential information, DeepSC-S is developed based on an attention mechanism by utilizing a squeeze-and-excitation (SE) network. The motivation behind the attention mechanism is to identify the essential speech information by providing higher weights to them when training the neural network. Moreover, in order to facilitate the proposed DeepSC-S for dynamic channel environments, we find a general model to cope with various channel conditions without retraining. Furthermore, we investigate DeepSC-S in telephone systems as well as multimedia transmission systems to verify the model adaptation in practice. The simulation results demonstrate that our proposed DeepSC-S outperforms the traditional communications in both cases in terms of the speech signals metrics, such as signal-to-distortion ration and perceptual evaluation of speech distortion. Besides, DeepSC-S is more robust to channel variations, especially in the low signal-to-noise (SNR) regime.

연구 동기 및 목표

• 비트 또는 기호 수준의 정확도에 초점을 맞추는 기존 통신 시스템의 비효율성을 해결하기 위해.
• 비트 오차율이 아닌 의미 오차를 최소화하는 데 초점을 맞춘, 음성 신호 전용 딥러닝 기반 의미 통신 시스템을 개발하기 위해.
• 필수 음성 특징을 우선시하는 주의 메커니즘을 활용해 음성 신호 복원 정확도를 향상시키기 위해.
• 재학습 없이 다양한 채널 조건에 적응 가능한 강건한 모델을 설계하기 위해, 특히 저 SNR 영역에서의 적용을 고려하여.
• 전화 시스템 및 멀티미디어 전송과 같은 실용적 응용 분야에서 시스템 성능을 검증하기 위해.

제안 방법

• 제안된 DeepSC-S 시스템은 의미 및 채널 인코딩/디코딩의 공동 최적화를 수행하는 엔드 투 엔드 딥 네트워크 아키텍처를 사용한다.
• 학습 중 필수 음성 특징에 대해 더 높은 가중치를 동적으로 할당하기 위해 압축-흥장(SE) 네트워크 기반 주의 메커니즘이 통합된다.
• SE 블록은 채널 간 특징 반응을 재조정함으로써 특징 표현을 향상시키고, 신호 복원 정밀도를 향상시킨다.
• 단일 강건한 모델은 8 dB SNR에서 Rician fading 채널 조건 하에서 학습되어, AWGN 및 Rayleigh fading 포함 다양한 채널 조건으로 일반화된다.
• SDR(신호 대 왜곡 비율) 및 PESQ(청각적 음성 품질 평가)와 같은 음성 전용 메트릭을 사용해 시스템 평가가 이루어진다.
• 모델은 전화 기반 통신 및 멀티미디어 전송 시스템의 두 가지 실용적 시나리오에서 테스트된다.

실험 결과

연구 질문

• RQ1 의미 통신 시스템이 저 SNR 조건에서 청각적 음성 품질과 강건성 측면에서 기존 시스템을 초월할 수 있는가?
• RQ2 압축-흥장 네트워크 기반 주의 메커니즘의 통합이 의미 통신에서 음성 신호 복원 정확도를 어떻게 향상시키는가?
• RQ3 단일 DeepSC-S 모델은 재학습 없이도 AWGN, Rayleigh, Rician 채널을 포함한 다양한 채널 조건에 일반화될 수 있는가?
• RQ4 DeepSC-S는 전화 시스템 및 멀티미디어 전송과 같은 실제 통신 시나리오에서 어떻게 성능을 발휘하는가?
• RQ5 다양한 SNR 및 페이딩 조건 하에서 SDR 및 PESQ 측면에서 DeepSC-S는 기존 및 CNN 기반 베이스라인에 비해 얼마나 높은 성능 향상을 달성하는가?

주요 결과

• DeepSC-S는 모든 테스트 채널 조건에서 CNN 기반 시스템 대비 평균 7.34% 향상된 PESQ 점수를 기록한다.
• 저 SNR 영역에서는 DeepSC-S가 기존 시스템을 크게 앞서며, 동일 조건에서 기존 시스템은 열악한 PESQ 점수를 기록한다.
• DeepSC-S는 모든 SNR 수준과 페이딩 채널에서 일관되게 높은 SDR 및 PESQ 값을 유지하여 강력한 강건성을 입증한다.
• 전화 및 멀티미디어 전송 시나리오 양쪽 모두에서 DeepSC-S는 기존 및 준기존 통신 시스템을 모두 압도한다.
• SE-ResNet 모듈의 사용은 더 나은 특징 학습과 필수 음성 성분의 추출을 가능하게 하여, 더 나은 신호 복원을 이끈다.
• 8 dB SNR에서 Rician 페이딩 조건 하에서 학습된 강건한 모델은 AWGN 및 Rayleigh 채널으로의 일반화가 효과적으로 이루어져, 동적 환경에 대한 적응 가능성 확인.