[논문 리뷰] Deep Joint Source-Channel Coding for Adaptive Image Transmission over MIMO Channels

Haotian Wu, Yulin Shao외 3명|arXiv (Cornell University)|2023. 09. 01.

Advanced MIMO Systems OptimizationEngineering인용 수 3

한 줄 요약

이 논문은 MIMO 채널을 통해 적응형 이미지 전송을 위한 비전 트랜스포머 기반 딥 유닛 소스 채널 코딩(DeepJSCC-MIMO)을 제안한다. 자기주의 주의 메커니즘을 활용하여 다중 안테나를 통해 특징 매핑과 전력 할당을 통합 최적화함으로써, 재학습 없이 다양한 신호 대 잡음비(SNR), 안테나 수 및 채널 조건에서 뛰어난 왜곡 및 인지 품질을 달성한다.

ABSTRACT

This paper introduces a vision transformer (ViT)-based deep joint source and channel coding (DeepJSCC) scheme for wireless image transmission over multiple-input multiple-output (MIMO) channels, denoted as DeepJSCC-MIMO. We consider DeepJSCC-MIMO for adaptive image transmission in both open-loop and closed-loop MIMO systems. The novel DeepJSCC-MIMO architecture surpasses the classical separation-based benchmarks with robustness to channel estimation errors and showcases remarkable flexibility in adapting to diverse channel conditions and antenna numbers without requiring retraining. Specifically, by harnessing the self-attention mechanism of ViT, DeepJSCC-MIMO intelligently learns feature mapping and power allocation strategies tailored to the unique characteristics of the source image and prevailing channel conditions. Extensive numerical experiments validate the significant improvements in transmission quality achieved by DeepJSCC-MIMO for both open-loop and closed-loop MIMO systems across a wide range of scenarios. Moreover, DeepJSCC-MIMO exhibits robustness to varying channel conditions, channel estimation errors, and different antenna numbers, making it an appealing solution for emerging semantic communication systems.

연구 동기 및 목표

• 무선 이미지 전송의 유한 블록 길이 영역에서 전통적인 분리 기반 소스 및 채널 코딩의 한계를 해결한다.
• 특히 다양한 채널 조건에서 적응적이고 강건한 성능를 보이는 MIMO 시스템을 위한 실용적인 통합 소스 채널 코딩 솔루션의 부족을 보완한다.
• 다른 안테나 수나 채널 상태에 대해 재학습이 필요 없는 통합 딥 러닝 프레임워크를 설계하여 의미적 특징 학습과 MIMO 전송 최적화를 통합한다.
• 자기주의 주의 메커니즘을 통해 채널 품질과 이미지 콘텐츠에 적응하는 전력 할당 및 특징 표현의 엔드 투 엔드 학습을 가능하게 한다.

제안 방법

• 소스 이미지의 의미 정보와 MIMO 채널 상태 정보(CSI)를 동시에 모델링하기 위해 비전 트랜스포머(ViT) 기반 아키텍처를 제안한다.
• 채널 상태 정보(CSI) 히트맵을 입력 임bedding으로 통합하여 주의 메커니즘이 공간적으로 적응형 특징 표현을 학습하도록 이끈다.
• 실시간 채널 품질과 이미지 콘텐츠에 기반해 다중 안테나 간 전력 할당을 동적으로 조정하기 위해 자기주의 주의 메커니즘을 활용한다.
• SNR 범위와 안테나 구성에 걸쳐 일반화하는 강건한 매핑을 학습함으로써 오픈 루프 및 클로즈드 루프 MIMO 시스템을 모두 지원한다.
• 입력의 패딩 또는 잘라내기를 통해 다양한 안테나 수를 처리하는 통합 인코더-디코더 아키텍처를 사용하여, 예측되지 않은 MIMO 구성에 대해 제로샷 적응을 가능하게 한다.
• 비가역적 왜곡 메트릭을 사용해 엔드 투 엔드로 모델을 학습함으로써, 명시적 비트 표현 없이도 소스 및 채널 코딩 목표를 통합 최적화할 수 있다.

Figure 1: Block diagram of the MIMO image transmission system: (a) conventional separate source-channel coding scheme and (b) DeepJSCC scheme, where the gray blocks with dashed lines are the additional operations for the closed-loop MIMO system.

실험 결과

연구 질문

• RQ1 비전 트랜스포머 기반의 딥 통합 소스 채널 코딩 프레임워크는 다양한 채널 조건에 적응하면서도 MIMO 채널을 통해 이미지 전송을 효과적으로 처리할 수 있는가?
• RQ2 ViT 아키텍처의 자기주의 주의 메커니즘이 MIMO 시스템에서 다중 안테나 간 지능적인 전력 할당과 특징 매핑을 어떻게 가능하게 하는가?
• RQ3 단일 DeepJSCC-MIMO 모델이 재학습 없이 다양한 송신 및 수신 안테나 수에 대해 얼마나 잘 일반화되는가?
• RQ4 실제 MIMO 환경에서 채널 추정 오차와 다양한 신호 대 잡음비(SNR)에 대해 제안된 방법이 얼마나 강건한가?
• RQ5 기존의 분리 기반 및 기존 DeepJSCC 벤치마크 대비 MIMO 환경에서 더 뛰어난 인지 품질과 왜곡 품질을 달성할 수 있는가?

주요 결과

• DeepJSCC-MIMO는 오픈 루프 및 클로즈드 루프 MIMO 시스템 모두에서 다양한 SNR 및 대역폭 환경에서 왜곡 품질과 인지 품질 모두에서 뚜렷한 향상을 이룬다.
• 채널 추정 오차에 대해 강건성을 보이며, 불완전한 CSI 조건에서도 높은 성능을 유지한다.
• 다양한 안테나 구성(M=2, 3, 4)에서 강력한 성능를 유지하며, 적응형-M 학습 전략을 사용할 경우 최대 0.6 dB의 성능 손실만을 기록한다.
• 저SNR 환경에서는 고품질 서브채널에 전력을 집중시키고, SNR가 증가함에 따라 전력 할당을 더 균일하게 분배함으로써 채널 품질에 지능적으로 적응하는 것을 보여준다.
• 대규모 사전학습 데이터셋(ImageNet)을 활용함으로써 예측되지 않은 데이터셋(Kodak, CelebA 등)으로의 일반화가 가능하며, 다양한 이미지 분포 간 이식성이 뛰어나다.
• 주의 메커니즘이 채널 특화된 전력 할당 패턴을 효과적으로 학습하며, 고전압 할당과 낮은 잡음 서브채널 간의 일치를 히트맵으로 시각화할 수 있다.

Figure 2: The pipeline of the DeepJSCC-MIMO scheme, where the source image $\bm{S}$ is encoded by a ViT-encoder and reconstructed by a ViT-decoder as $\bm{\hat{S}}$ . Precoding operation in dashed line will be performed if the CSI is available at the transmitter, and the CSI ( $\bm{H},\sigma_{w}^{2}