[論文レビュー] WITT: A Wireless Image Transmission Transformer for Semantic Communications

Ke Yang, Sixian Wang+4 more|arXiv (Cornell University)|Nov 2, 2022

Wireless Signal Modulation Classification被引用数 4

ひとこと要約

本稿では、スイッチトランスフォーマーを用いて長距離相関を捉え、チャネルモードネットを介して潜伏表現を変動するチャネル状態に適応させる、無線画像伝送のための視覚変換器ベースの共同ソースチャネル符号化フレームワークWITTを提案する。WITTは、特に高解像度および低SNR条件下で、CNNベースの手法を上回る優れた性能を達成しており、AWGNおよびレイノールフェージングチャネルにおいてPSNR、MS-SSIM、帯域幅効率の面で向上を示している。

ABSTRACT

In this paper, we aim to redesign the vision Transformer (ViT) as a new backbone to realize semantic image transmission, termed wireless image transmission transformer (WITT). Previous works build upon convolutional neural networks (CNNs), which are inefficient in capturing global dependencies, resulting in degraded end-to-end transmission performance especially for high-resolution images. To tackle this, the proposed WITT employs Swin Transformers as a more capable backbone to extract long-range information. Different from ViTs in image classification tasks, WITT is highly optimized for image transmission while considering the effect of the wireless channel. Specifically, we propose a spatial modulation module to scale the latent representations according to channel state information, which enhances the ability of a single model to deal with various channel conditions. As a result, extensive experiments verify that our WITT attains better performance for different image resolutions, distortion metrics, and channel conditions. The code is available at https://github.com/KeYang8/WITT.

研究の動機と目的

• 高解像度画像伝送におけるCNNベースの共同ソースチャネル符号化（JSCC）の性能劣化を克服すること。
• CNNを視覚変換器に置き換えることで、無線画像伝送における表現能力を向上させること。
• 再訓練なしに多様な無線チャネル状態に適応できる1つのディーブラーニングモデルを実現すること。
• PSNR、MS-SSIM、帯域幅効率の観点から、エンドツーエンドの伝送性能を向上させること。
• 送信パワー制約やフェージングといった実用的無線制約と、グローバルアテンション機構を統合すること。

提案手法

• 階層的スイッチトランスフォーマー符号化器を採用し、複数段階にわたりパッチ埋め込みとパッチマージングを実行することで、マルチスケールかつ長距離依存性を有する特徴を抽出する。
• 最終符号化器層の直後にチャネルモードネット（Channel ModNet）を挿入し、リアルタイムのチャネル状態情報（CSI）に基づいて潜在表現を再スケーリングする。
• チャネルモードネットでは、再訓練なしにさまざまなSNRレベルに適応可能な学習可能なスケーリング機構を採用する。
• 潜在特徴量は全結合層を介して固定次元に投影され、送信パワー制約を満たすために正規化された後、フェージングチャネルを介してアナログ伝送される。
• 対称的な復号器は、アップサンプリング、パッチ分割、および同じチャネルモードネットを備えたスイッチトランスフォーマーブロックを用いて画像を再構築する。
• 送信パワー制約下でピクセル単位の誤差を最小化する再構築損失関数を用いて、エンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 視覚変換器バックボーンを用いることで、特に高解像度において、CNNと比較してエンドツーエンドの画像伝送性能が顕著に向上するか？
• RQ2 1つのディーブラーニングモデルが再訓練なしに、変動する無線チャネル状態に効果的に適応できるか？
• RQ3 スイッチトランスフォーマーによるグローバルアテンションの統合が、フェージングチャネル下での伝送のロバスト性と品質にどの程度寄与するか？
• RQ4 PSNR、MS-SSIM、帯域幅効率の観点から、WITTは従来の分離型方式（例：BPG + LDPC）と比較してどのように差をつけるか？
• RQ5 チャネルモードネットが、広いSNR範囲（例：1–13 dB）をカバーしつつ、高い性能を維持できるか？

主な発見

• WITTは、すべての画像解像度においてCNNベースのJSCCと比較して顕著に高いPSNRおよびMS-SSIMを達成しており、解像度が高くなるほど性能差が拡大する。
• CIFAR10データセットにおいて、WITTはAWGNチャネル下で13 dB SNRでCNNベースのADJSCCをPSNR面で1.2 dB、MS-SSIM面で1.8 dB上回った。
• 高解像度画像（DIV2K）では、低SNR（例：1 dB）でもWITTは強固な性能を維持するが、CNNベースのJSCCは急速に劣化し、分離型方式に後れを取る。
• すべてのCBR（コードビットレート）において、BPG + LDPCと同等または優れた性能を達成しており、レイノールフェージングチャネル下で低CBR（1/16）においてCNNベースのJSCCに1.5 dBのコーディングゲインを示した。
• ADJSCC（198 G vs. 511 G）に比べてFLOPsを2.5倍削減し、モデルサイズが大きいにもかかわらず、推論速度は116 ms（ADJSCC：155 ms）と高速化された。
• WITTによる視覚的再構築は、特に低帯域幅条件下でブロックアーティファクトが少なく、テクスチャの忠実度が高く、主観的優位性を裏付けた。