[논문 리뷰] SwinJSCC: Taming Swin Transformer for Deep Joint Source-Channel Coding

Ke Yang, Sixian Wang외 4명|arXiv (Cornell University)|2023. 08. 18.

Wireless Signal Modulation ClassificationComputer Science인용 수 3

한 줄 요약

이 논문은 스위니 트랜스포머 기반 백본을 사용하는 딥 임베디드 소스채널 코딩(SwinJSCC) 프레임워크를 제안하며, CNN 기반 JSCC 모델보다 우수한 이미지 복원 품질과 낮은 엔드 투 엔드 지연을 달성한다. 채널 상태 및 전송 속도에 적응하는 공간 모odulation 모듈을 통합함으로써 SwinJSCC는 고해상도 이미지에서 최신의 BPG + 5G LDPC 시스템을 능가하며, 빠른 처리 속도를 유지한다.

ABSTRACT

As one of the key techniques to realize semantic communications, end-to-end optimized neural joint source-channel coding (JSCC) has made great progress over the past few years. A general trend in many recent works pushing the model adaptability or the application diversity of neural JSCC is based on the convolutional neural network (CNN) backbone, whose model capacity is yet limited, inherently leading to inferior system coding gain against traditional coded transmission systems. In this paper, we establish a new neural JSCC backbone that can also adapt flexibly to diverse channel conditions and transmission rates within a single model, our open-source project aims to promote the research in this field. Specifically, we show that with elaborate design, neural JSCC codec built on the emerging Swin Transformer backbone achieves superior performance than conventional neural JSCC codecs built upon CNN, while also requiring lower end-to-end processing latency. Paired with two spatial modulation modules that scale latent representations based on the channel state information and target transmission rate, our baseline SwinJSCC can further upgrade to a versatile version, which increases its capability to adapt to diverse channel conditions and rate configurations. Extensive experimental results show that our SwinJSCC achieves better or comparable performance versus the state-of-the-art engineered BPG + 5G LDPC coded transmission system with much faster end-to-end coding speed, especially for high-resolution images, in which case traditional CNN-based JSCC yet falls behind due to its limited model capacity.

연구 동기 및 목표

• 고해상도 이미지에서 특히 한계가 있는 CNN 기반 딥 JSCC 모델의 모델 용량 문제를 해결하기 위해.
• 단일 신경망 JSCC 모델이 다양한 채널 조건과 전송 속도에 대해 민첩하게 적응할 수 있도록 하기 위해.
• 엔드 투 엔드 처리 지연을 증가시키지 않고도 기존의 분리 기반 시스템에 비해 시스템 코딩 이득을 향상시키기 위해.
• 엔드 투 엔드 최적화된 의미 기반 통신 분야의 연구를 촉진하는 유연하고 오픈소스 프레임워크를 개발하기 위해.

제안 방법

• 이미지 패치 간 장거리 의존성을 포괄하는 글로벌 어텐션 메커니즘을 활용해, 스위니 트랜스포머 기반 백본을 설계하여 딥 JSCC에 활용한다.
• 채널 상태 정보**(CSI)** 및 목표 전송 속도에 따라 잠재 표현을 스케일링하는 두 가지 공간 모odulation 모듈을 도입한다.
• 대역폭 및 신호대역비**(SNR)** 제약 조건 하에서 왜곡을 최소화하는 통합 소스채널 최적화 목표로 모델을 엔드 투 엔드로 훈련시킨다.
• 계산 효율성과 표현 능력의 균형을 이루기 위해 시프트된 윈도우 자기어텐션을 활용한 계층적 스위니 트랜스포머 아키텍처를 사용한다.
• 실시간 채널 피드백 및 비트레이트 요구사항에 따라 특징 맵을 동적으로 조정하는 학습 가능한 적응 헤드를 통합한다.
• 저지연 추론과 함께 비율-왜곡**(RD)** 성능 최적화를 위해 최적화하여, 동적 무선 환경에서의 실용적 구현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 스위니 트랜스포머 기반 백본이 CNN 기반 JSCC보다 이미지 복원 품질과 처리 지연 측면에서 뛰어난 성능을 보일 수 있는가?
• RQ2 성능 저하 없이 단일 딥 JSCC 모델이 다양한 채널 조건과 전송 속도에 얼마나 효과적으로 적응할 수 있는가?
• RQ3 CSI 및 비트레이트 인지 공간 모odulation 모듈을 통합함으로써 시스템의 적응성과 코딩 이득에 어떤 영향을 미치는가?
• RQ4 특히 고해상도 이미지에서 제안된 모델이 BPG + 5G LDPC와 같은 엔지니어링 시스템에 비해 더 우수하거나 동등한 성능을 달성하는가?
• RQ5 성능 포화가 발생하는 모델 크기는 어느 정도이며, 이는 확장성과 효율성에 어떤 영향을 미치는가?

주요 결과

• 스위니 트랜스포머의 강화된 특징 표현 능력 덕분에, 고해상도 이미지(예: Kodak 데이터셋)에서 CNN 기반 JSCC보다 높은 PSNR를 달성한다.
• 주로 LDPC 인코딩 시간을 제거함으로써 BPG + LDPC 방식 대비 엔드 투 엔드 처리 지연을 20.57% 이상 감소시킨다.
• SwinJSCC w/ SA&RA 버전은 다양한 SNR 및 CBR 조건에서도 뛰어난 성능을 유지하며, 동적 fading 채널에서 ADJSCC 및 BPG+LDPC를 모두 능가한다.
• 제거 분석 결과, SwinJSCC B w/ SA&RA는 더 이상 파rameter 증가로 성능 향상이 없어지는 성능 포화 지점을 도달함을 확인하였다.
• 더 적은 FLOPs와 더 많은 파라미터를 사용하면서도 ADJSCC보다 더 나은 비율-왜곡 트레이드오프를 달성하여 높은 효율성을 보였다.
• 실제 다중 경로 fading 채널에서 SwinJSCC w/ SA&RA는 BPG+LDPC보다 신호대역비**(SNR)** 변화에 더 빠르게 적응하고 PSNR 안정성이 높은 것으로 나타났다. 이는 고정된 QP 및 변조 방식에 의존하는 BPG+LDPC와 대비된다.