[論文レビュー] Generative Semantic Communication: Diffusion Models Beyond Bit Recovery

Eleonora Grassucci, Sergio Barbarossa+1 more|arXiv (Cornell University)|Jun 7, 2023

Generative Adversarial Networks and Image Synthesis被引用数 20

ひとこと要約

本論文は拡散モデルに基づく意味通信フレームワークを提案し、圧縮された意味マップを伝送し、高速デノイジングブロックとノイズ訓練を用いて、さまざまなチャネル条件下で意味的一貫性のある画像を合成する。これにより既存手法を上回る。

ABSTRACT

Semantic communication is expected to be one of the cores of next-generation AI-based communications. One of the possibilities offered by semantic communication is the capability to regenerate, at the destination side, images or videos semantically equivalent to the transmitted ones, without necessarily recovering the transmitted sequence of bits. The current solutions still lack the ability to build complex scenes from the received partial information. Clearly, there is an unmet need to balance the effectiveness of generation methods and the complexity of the transmitted information, possibly taking into account the goal of communication. In this paper, we aim to bridge this gap by proposing a novel generative diffusion-guided framework for semantic communication that leverages the strong abilities of diffusion models in synthesizing multimedia content while preserving semantic features. We reduce bandwidth usage by sending highly-compressed semantic information only. Then, the diffusion model learns to synthesize semantic-consistent scenes through spatially-adaptive normalizations from such denoised semantic information. We prove, through an in-depth assessment of multiple scenarios, that our method outperforms existing solutions in generating high-quality images with preserved semantic information even in cases where the received content is significantly degraded. More specifically, our results show that objects, locations, and depths are still recognizable even in the presence of extremely noisy conditions of the communication channel. The code is available at https://github.com/ispamm/GESCO.

研究の動機と目的

• ビット回復だけでなく意味内容の保持に焦点を当てた意味通信パラダイムの提案を動機づける。
• 伝送された意味レイアウトを条件としてフォトリアリスティックな画像を生成する拡散ガイド付きフレームワークを提案する。
• 有益なワンホット意味マップのみを伝送して帯域幅を削減し、受信時にデノイズして頑健な画像合成を実現する。
• 悪条件のチャネルに対応するため、ノイズのある意味マップで拡散モデルを訓練する。
• 複数のデータセットとチャネルシナリオに跨る頑健性と意味忠実性を実証する。

提案手法

• 帯域幅を節約するため、全画像の代わりにワンホットで圧縮された意味マップを伝送する。
• 伝送されたマップを条件とする意味拡散モデルを用いて意味的に一貫した画像を合成する。
• 推論時に高速デノイジング意味ブロック（FDS）を組み込み、受信ノイズマップを清浄化する。
• ノイズを含むマップで拡散モデルを訓練し、チャンネル耐性のある生成を学習する。
• 条件付き生成品質を向上させるため、分類器フリーガイダンスを適用する。
• デノイジング損失（L_d）とKL発散項（L_KL）を組み合わせた損失で最適化する。

実験結果

リサーチクエスチョン

• RQ1 拡散ベースの生成モデルは、ひどく劣化した意味マップから意味的忠実な画像を再構成できるか？
• RQ2 AWGN条件下で、生の画像の代わりに意味マップを伝送することが帯域幅と意味忠実度にどのような影響を与えるか？
• RQ3 ノイズ付きマップでの訓練と高速デノイジングの使用は、データセットとPSNR領域全体で視覚品質と意味品質を向上させるか？
• RQ4 提案手法は、SPADE、CC-FPSE、SMIS、OASIS、and SDMと意味保持、知覚品質、生成現実性の面でどのように比較されるか？

主な発見

手法	mIoU ↑	PSNR 100	PSNR 30	PSNR 20	PSNR 15	PSNR 10	PSNR 5	PSNR 1
Full image	-	0.955 ± .032	0.911 ± .155	0.906 ± .247	0.906 ± .339	0.240 ± .193	0.110 ± .298
SPADE park2019SPADE	0.909 ± .127	0.914 ± .255	0.921 ± .315	0.812 ± .364	0.672 ± .321	0.253 ± .288	0.313 ± .144
CC-FPSE liu2019learning	0.908 ± .045	0.908 ± .121	0.911 ± .315	0.928 ± .345	0.852 ± .245	0.653 ± .183	0.322 ± .284
SMIS Zhu2020SemanticallyMI	0.909 ± .064	0.919 ± .066	0.909 ± .214	0.931 ± .208	0.901 ± .244	0.899 ± .290	0.876 ± .211
OASIS schonfeld2021you	0.910 ± .111	0.908 ± .191	0.912 ± .232	0.697 ± .165	0.662 ± .356	0.345 ± .112	0.232 ± .191
SDM Wang2022SemanticIS	0.921 ± .051	0.340 ± .022	0.333 ± .061	0.351 ± .011	0.297 ± .021	0.256 ± .019	0.211 ± .043
Our method	0.940 ± .014	0.942 ± .212	0.944 ± .297	0.945 ± .141	0.905 ± .112	0.913 ± .214	0.925 ± .111

• 提案手法は、競合法よりもPSNR値を含む非常に低いPSNR領域を含む、意味忠実性（mIoU）を高く保つ。
• LPIPSスコアは、チャネル条件全体で提案手法の知覚的類似性が高いことを示す。
• FIDスコアは、提案手法がより低い（良い）生成誤差とロバスト性をPSNRs acrossで維持することを示す。
• Cityscapesでは、劣化チャネル下で物体の意味と深度の視認性を保持する。
• COCO-Stuffでは、PSNR=10でも意味のあるサンプルと競争力のある意味指標を達成する。
• 本アプローチはCityscapesにおける伝送ビット予算を約92%削減しつつ意味品質を維持する。