[논문 리뷰] Transformer-aided Wireless Image Transmission with Channel Feedback

Haotian Wu, Yulin Shao외 3명|arXiv (Cornell University)|2023. 06. 15.

Advanced Data Compression TechniquesComputer Science인용 수 3

한 줄 요약

이 논문은 수신기 피드백을 활용하여 반복적으로 이미지 복원을 개선하는 트랜스포머 기반의 공동 소스-채널 부호화(JSCC) 프레임워크인 JSCCformer-f를 제안한다. 의미적 이미지 특징과 피드백 유래 믿음 상태를 융합하는 통합 인코더를 사용함으로써, 낮은 복잡도와 피드백 노이즈에 대한 강건성을 확보하면서도 다양한 신호 대 잡음비(SNR) 및 대역폭 조건에서 기존의 분리 기반 및 이전 피드백 지원 방법들을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper presents a novel wireless image transmission paradigm that can exploit feedback from the receiver, called DeepJSCC-ViT-f. We consider a block feedback channel model, where the transmitter receives noiseless/noisy channel output feedback after each block. The proposed scheme employs a single encoder to facilitate transmission over multiple blocks, refining the receiver's estimation at each block. Specifically, the unified encoder of DeepJSCC-ViT-f can leverage the semantic information from the source image, and acquire channel state information and the decoder's current belief about the source image from the feedback signal to generate coded symbols at each block. Numerical experiments show that our DeepJSCC-ViT-f scheme achieves state-of-the-art transmission performance with robustness to noise in the feedback link. Additionally, DeepJSCC-ViT-f can adapt to the channel condition directly through feedback without the need for separate channel estimation. We further extend the scope of the DeepJSCC-ViT-f approach to include the broadcast channel, which enables the transmitter to generate broadcast codes in accordance with signal semantics and channel feedback from individual receivers.

연구 동기 및 목표

• 이미지 전송을 위한 기존 피드백 지원 딥 JSCC 기법의 높은 복잡도와 적응성 부족 문제를 해결한다.
• 유한 블록길이 영역에서 별도의 소스 및 채널 부호화의 한계를 극복하기 위해 피드백을 통한 공동 최적화를 가능하게 한다.
• 의미 정보와 수신기 피드백을 활용하여 반복적으로 이미지 복원을 향상시키는 통합형 확장 가능한 인코더를 개발한다.
• 직접 채널 추정을 수행하지 않고도 전송을 지도하기 위해 피드백을 직접 활용함으로써 채널 적응을 가능하게 한다.
• 프레임워크를 방송 채널으로 일반화하여 다양한 채널 조건을 가진 다수의 수신자에게 적응형 전송을 가능하게 한다.

제안 방법

• 각 블록에서 소스 이미지와 피드백 신호(디코더의 현재 믿음 상태)를 처리하는 단일 통합 인코더를 사용하여 부호화 기호를 생성한다.
• 장거리 의존성을 모델링하고 의미 정보 및 피드백 정보를 융합하기 위해 자기주의성(Self-attention) 및 교차주의성(Cross-attention) 메커니즘을 갖춘 비전 트랜스포머(ViT)를 사용한다.
• 채널 상태 정보와 피드백로부터 유도된 수신기 믿음 상태를 학습 가능한 융합 모듈을 통해 인코더의 입력에 통합한다.
• 방송 환경에서 다수의 수신자 간 복원 품질 균형을 고려하기 위해 가중치가 부여된 MSE 손실을 사용하여 엔드 투 엔드 시스템을 훈련시킨다.
• 각 전송 블록 후에 수신기가 노이즈 없는/노이즈 있는 채널 출력 피드백을 송신기로 전송하는 블록 기반 피드백을 활용하여 이후 전송을 개선한다.
• 각 수신자의 개별 피드백과 채널 조건에 기반하여 다수의 수신자에게 맞춤형 신호를 생성할 수 있도록 단일 인코더를 훈련시켜 프레임워크를 방송 채널로 확장한다.

실험 결과

연구 질문

• RQ1 피드백 지원 이미지 전송에서 다단계 및 독립적인 인코더-디코더 아키텍처에 비해 통합형 트랜스포머 기반 인코더가 성능 면에서 뛰어나게 작용할 수 있는가?
• RQ2 명시적인 채널 추정 없이 피드백이 복원 품질 향상에 얼마나 기여할 수 있는가?
• RQ3 기존의 피드백 지원 JSCC 방법들과 비교해 복잡도가 높은 피드백 링크 상황에서 제안된 방법의 성능은 어떠한가?
• RQ4 성능와 적응성을 유지하면서 다수 사용자 방송 환경으로 프레임워크를 일반화할 수 있는가?
• RQ5 의미 정보와 수신기 믿음 상태를 어텐션 메커니즘을 통해 융합하는 방식이 기존의 특징 기반 접근 방식보다 더 나은 복원을 이끌어낼 수 있는가?

주요 결과

• JSCCformer-f는 테스트된 모든 SNR 및 대역폭 비율 값에서 최신 기술 수준의 PSNR 성능을 달성하며, DeepJSCC-f 및 분리 기반 기법들을 크게 능가한다.
• 방송 환경에서 각 수신자에 대해 BPG-Capacity 기준 대비 최소 3 dB의 복원 품질 향상을 기록한다.
• 방송 채널 평가에서 모든 SNR 쌍에 대해 평균적으로 최소 0.9 dB의 PSNR 향상을 관찰하여 일관된 우수성을 입증한다.
• 피드백 링크에 추가적인 오류 보호가 필요 없이도 노이즈 있는 피드백에 대해 강건성을 유지하며 높은 성능을 확보한다.
• 통합 인코더 설계 덕분에 각 피드백 블록을 위한 별도의 인코더를 훈련시키는 것보다 학습 및 메모리 복잡도가 감소한다.
• 채널 추정 모듈을 별도로 갖추지 않고도 피드백을 유일한 지침으로 삼아 다양한 채널 조건에 효과적으로 적응한다.