[論文レビュー] SwinJSCC: Taming Swin Transformer for Deep Joint Source-Channel Coding

Ke Yang, Sixian Wang+4 more|arXiv (Cornell University)|Aug 18, 2023

Wireless Signal Modulation ClassificationComputer Science被引用数 3

ひとこと要約

本稿では、Swin変換器バックボーンに基づく深層共同ソースチャネル符号化（JSCC）フレームワーク、SwinJSCCを提案する。このフレームワークは、CNNベースのJSCCモデルと比較して、優れた画像再構築品質と低いエンドツーエンド遅延を達成している。チャネル状態および伝送レートに適応する空間モodulationモジュールを統合することで、SwinJSCCは、特に高解像度画像において、最先端のBPG + 5G LDPCシステムを上回り、高速な処理速度を維持している。

ABSTRACT

As one of the key techniques to realize semantic communications, end-to-end optimized neural joint source-channel coding (JSCC) has made great progress over the past few years. A general trend in many recent works pushing the model adaptability or the application diversity of neural JSCC is based on the convolutional neural network (CNN) backbone, whose model capacity is yet limited, inherently leading to inferior system coding gain against traditional coded transmission systems. In this paper, we establish a new neural JSCC backbone that can also adapt flexibly to diverse channel conditions and transmission rates within a single model, our open-source project aims to promote the research in this field. Specifically, we show that with elaborate design, neural JSCC codec built on the emerging Swin Transformer backbone achieves superior performance than conventional neural JSCC codecs built upon CNN, while also requiring lower end-to-end processing latency. Paired with two spatial modulation modules that scale latent representations based on the channel state information and target transmission rate, our baseline SwinJSCC can further upgrade to a versatile version, which increases its capability to adapt to diverse channel conditions and rate configurations. Extensive experimental results show that our SwinJSCC achieves better or comparable performance versus the state-of-the-art engineered BPG + 5G LDPC coded transmission system with much faster end-to-end coding speed, especially for high-resolution images, in which case traditional CNN-based JSCC yet falls behind due to its limited model capacity.

研究の動機と目的

• CNNベースの深層JSCCモデルのモデル容量の制限、特に高解像度画像においての課題に対処すること。
• 1つのニューラルJSCCモデルが、多様なチャネル状態および伝送レートに柔軟に適応できることを実現すること。
• エンドツーエンド処理遅延を増加させずに、従来の分離型システムに比べてシステム符号化ゲインを向上させること。
• エンドツーエンド最適化された意味的通信分野の研究を前進させる包括的でオープンソースのフレームワークを開発すること。

提案手法

• 画像パッチ間の長距離依存関係を捉えるために、グローバルアテンションメカニズムを活用するSwin変換器ベースのバックボーンを設計する。
• チャネル状態情報（CSI）およびターゲット伝送レートに応じて潜在表現をスケーリングする2つの空間モodulationモジュールを導入する。
• 帯域幅およびSNR制約下での歪みを最小化するため、エンドツーエンドで最適化する共同ソースチャネル最適化目的関数でモデルを学習する。
• 計算効率と表現力のバランスを取るために、シフトドウインドウ自己注意を用いた階層的Swin変換器アーキテクチャを採用する。
• リアルタイムのチャネルフィードバックおよびレート要件に応じて特徴マップを動的に調整する学習可能な適応ヘッドを統合する。
• 低遅延推論とRD（レート歪み）性能の両方を最適化することで、動的無線環境における実用的導入を可能にする。

実験結果

リサーチクエスチョン

• RQ1 Swin変換器ベースのバックボーンは、画像再構築品質および処理遅延の面で、CNNベースのJSCCを上回ることができるか？
• RQ2 性能劣化を伴わずに、1つの深層JSCCモデルが変化するチャネル状態および伝送レートに柔軟に適応できるか？
• RQ3 CSIおよびレートに配慮した空間モodulationモジュールを統合することで、システムの適応性および符号化ゲインにどのような影響を与えるか？
• RQ4 特に高解像度画像において、BPG + 5G LDPCのようなエンジニアリング手法と比較して、提案モデルがより優れたまたは同等の性能を達成できるか？
• RQ5 どのモデルサイズで性能が飽和するか？そして、その点がスケーラビリティおよび効率性に与える影響は？

主な発見

• SwinJSCCは、Kodakデータセットなどの高解像度画像において、特徴表現能力の向上により、CNNベースのJSCCよりも高いPSNRを達成している。
• 主にLDPC符号化時間の削除により、BPG + LDPC方式と比較してエンドツーエンド処理遅延を20.57%以上短縮している。
• SwinJSCC w/ SA&RAバージョンは、さまざまなSNRおよびCBR条件において優れた性能を維持し、動的 fading チャネルにおいてADJSCCおよびBPG+LDPCを上回っている。
• アブレーションスタディにより、SwinJSCC B w/ SA&RAは、パラメータの増加がさらなる向上をもたらさない性能飽和点に達することが確認された。
• より少ないFLOPsでADJSCCよりも優れたレート歪みトレードオフを達成し、パrameter数が多くても高い効率性を示している。
• 実用的なマルチパスフェージングチャネルにおいて、SwinJSCC w/ SA&RAは、固定QPおよび変調方式に依存するBPG+LDPCと比較して、SNR変動への適応が早く、PSNRの安定性が高くなっている。