[論文レビュー] Deep Joint Source-Channel Coding for Wireless Image Transmission with Adaptive Rate Control

Mingyu Yang, Hun-Seok Kim|arXiv (Cornell University)|Oct 9, 2021

Advanced Data Compression Techniques被引用数 7

ひとこと要約

本稿では、Gumbel-Softmaxのテクニックを用いた微分可能ポリシー・ネットワークを備えた1つの深層ニューラルネットワーク（DNN）ベースの共同ソースチャネル符号化（JSCC）方式を提案する。この方式は、チャネルのSNRと画像の内容に基づいて送信レートを動的に制御する。複数のSNRおよび画像の複雑さの条件下でも、固定レートモデルと同等の性能を達成しながら、高SNRまたは低複雑度の状況では帯域幅の使用量を動的に削減する。

ABSTRACT

We present a novel adaptive deep joint source-channel coding (JSCC) scheme for wireless image transmission. The proposed scheme supports multiple rates using a single deep neural network (DNN) model and learns to dynamically control the rate based on the channel condition and image contents. Specifically, a policy network is introduced to exploit the tradeoff space between the rate and signal quality. To train the policy network, the Gumbel-Softmax trick is adopted to make the policy network differentiable and hence the whole JSCC scheme can be trained end-to-end. To the best of our knowledge, this is the first deep JSCC scheme that can automatically adjust its rate using a single network model. Experiments show that our scheme successfully learns a reasonable policy that decreases channel bandwidth utilization for high SNR scenarios or simple image contents. For an arbitrary target rate, our rate-adaptive scheme using a single model achieves similar performance compared to an optimized model specifically trained for that fixed target rate. To reproduce our results, we make the source code publicly available at https://github.com/mingyuyng/Dynamic_JSCC.

研究の動機と目的

• 変動するチャネル状態と画像内容を伴う動的環境下で、固定レートの深層JSCCモデルの非効率性を是正すること。
• 各レートごとに再訓練を必要とせず、1つのDNNモデルで複数の送信レートを動的にサポートできること。
• SNRが高い場合または画像の内容が単純な場合に帯域幅使用量を削減する動的レート制御ポリシーを学習すること。
• 1つの統合アーキテクチャを用いながらも、各レートに最適化された固定レートモデルと同等の画像品質を維持すること。

提案手法

• ポリシー・ネットワークがGumbel-Softmaxのテクニックを用いて微分可能なバイナリーマスクを生成し、送信に使用する特徴群の選択を行う。
• チャネル符号化器とデコーダーに、信号対雑音比（SNR）に応じて特徴量を調整するSNR適応モジュールを統合する。
• 送信レートはピクセルあたりのチャネル使用量（CPP）として定量化され、活性な特徴群の数に応じて0.25から0.5の範囲で変動する。
• 画像品質（PSNR）とレート効率（ハイパーパrameter αを介して）の両方をバランスに考慮した損失関数を用いて、エンドツーエンドでモデルを訓練する。
• 特徴群は選択的（G_s = 4）と非選択的（G_n = 4）に分類され、ポリシー・ネットワークがマスク処理を行うのは選択的グループのみである。
• 選択された特徴量の実部と虚部に分割して、複素数の送信シンボルを形成し、平均パワーが1になるように保証する。

実験結果

リサーチクエスチョン

• RQ1 1つの深層JSCCモデルが、チャネルのSNRと画像の内容に基づいて動的に送信レートを調整できるか？
• RQ2 各レートに特化して訓練された固定レートモデルと比較して、提案された適応型レート制御ポリシーの性能はどの程度か？
• RQ3 Gumbel-Softmaxのテクニックを用いることで、微分可能なレート選択メカニズムのエンドツーエンド学習が有効に可能になるか？
• RQ4 高SNRまたは低複雑度の画像シナリオにおいて、ポリシー・ネットワークが帯域幅使用量をどの程度削減できるか？
• RQ5 適応型レート制御は、異なる画像クラス間で再構成画像品質の均一性にどのような影響を与えるか？

主な発見

• 提案手法は、高SNR条件下でチャネル帯域幅利用効率を向上させるポリシーを学習し、0 dBで平均レートが0.5からSNRが上昇するにつれて低下する。
• 同じSNRおよび画像クラスにおいて、ポリシーは複雑な画像（例：自動車、トラック）に対して高いCPPを割り当て、単純な画像（例：船、飛行機）に対しては低いCPPを割り当てることで、品質の均一性が向上する。
• CIFAR-10クラス間のPSNRの標準偏差は、適応型レート制御では0.613であり、固定レートベースライン（0.923～1.017）と比較して顕著に低い。
• α = 1.5×10⁻³の条件下で、本手法は全SNRレベルでBPG+シャノン容量ベースラインを上回り、ロバストで効率的な性能を示す。
• 1つの統合アーキテクチャを用いながらも、各レートに最適化された固定レートモデルと同等のPSNR性能を達成する。
• 複数のモデルをデプロイする必要を減らしながらも、最適化された固定レートモデルとほぼ同一の画像品質を維持する。