[論文レビュー] Generative AI-aided Joint Training-free Secure Semantic Communications via Multi-modal Prompts

Hongyang Du, Guangyuan Liu+6 more|arXiv (Cornell University)|Sep 5, 2023

Digital Media Forensic Detection被引用数 5

ひとこと要約

本稿では、共同符号化器・復号器のトレーニングを不要とする、マルチモーダルプロンプトを用いたトレーニングフリーで生成的AIを活用した意味的通信システムを提案する。拡散モデルとフレンドリーなジャマラーを活用することで、送信パワー、ジャマリング、拡散ステップを最適化し、安全な送信条件下で高いSSIM（最大0.92）および低いBEP（<10⁻⁵）を達成する。

ABSTRACT

Semantic communication (SemCom) holds promise for reducing network resource consumption while achieving the communications goal. However, the computational overheads in jointly training semantic encoders and decoders-and the subsequent deployment in network devices-are overlooked. Recent advances in Generative artificial intelligence (GAI) offer a potential solution. The robust learning abilities of GAI models indicate that semantic decoders can reconstruct source messages using a limited amount of semantic information, e.g., prompts, without joint training with the semantic encoder. A notable challenge, however, is the instability introduced by GAI's diverse generation ability. This instability, evident in outputs like text-generated images, limits the direct application of GAI in scenarios demanding accurate message recovery, such as face image transmission. To solve the above problems, this paper proposes a GAI-aided SemCom system with multi-model prompts for accurate content decoding. Moreover, in response to security concerns, we introduce the application of covert communications aided by a friendly jammer. The system jointly optimizes the diffusion step, jamming, and transmitting power with the aid of the generative diffusion models, enabling successful and secure transmission of the source messages.

研究の動機と目的

• 意味的通信システムにおける共同トレーニングの高コストな計算とエネルギー消費を低減すること。
• 符号化器と復号器の共同トレーニングを必要とせずに、正確なメッセージ再構築を実現すること。
• フレンドリーなジャマリングを統合することで、プロンプト送信の安全性を向上させること。
• 構造的忠実度を保ちつつ情報漏洩を最小限に抑える、テキストおよび視覚的コンポONENTを組み合わせたマルチモーダルプロンプトの設計。
• 生成的拡散モデルを用いて、送信パワー、ジャマリング、拡散ステップのリソース割り当てを最適化し、信頼性と隠蔽性を両立した送信を実現すること。

提案手法

• マルチモーダルプロンプトを用いる：意味的コンテンツをガイドするテキストプロンプトと、構造的忠実度を保つための視覚的プロンプト。
• 生成的拡散モデル（GDM）を用いて、条件ベクトルcを用いてガウスノイズから段階的にノイズ除去することで、プロンプトから画像を再構築する。
• リソース割り当て戦略は、ポリシーネットワークηθによって生成され、チャネル状態に基づき最適な送信パワー、ジャマリングパワー、拡散ステップを予測する。
• クリティックネットワークQυは、SSIMを報酬信号として用いて生成画像の品質を評価し、深層強化学習によりポリシー最適化を促進する。
• トレーニングでは、予測されたSSIMと実際のSSIM値の差を最小化する損失関数を用い、Qυネットワークは真のQ値を予測するように訓練される。
• ジャマリングパワーと送信パワーを共同で最適化することで、監視者（ウォーデン）の検出確率を低く保ちつつ、受信機での信頼性の高い復号を実現する。

Figure 1: Diverse semantic communication schemes. Part A represents SemCom based on knowledge graphs. Part B shows GAI-aided SemCom using only the textual prompt. The decoder reconstructs an image that is not accurate. Part C shows GAI-powered SemCom using multi-modal prompts. The decoder leverages

実験結果

リサーチクエスチョン

• RQ1 生成的AIは、符号化器と復号器の共同トレーニングを必要とせずに、正確な意味的通信を可能にするか？
• RQ2 マルチモーダルプロンプトは、意味的通信システムにおける画像再構築の忠実度をどのように向上させるか？
• RQ3 生成モデルにおけるプロンプトの不安定性が、意味的通信の信頼性に与える影響は何か？
• RQ4 生成的AIを活用した意味的通信に、盗聴を防ぐために効果的に隠蔽通信を統合できるか？
• RQ5 ウォーデンが存在する状況下で、画像再構築品質を最大化すると同時に、検出確率を低く保つリソース割り当て戦略は何か？

主な発見

• GDMベースのリソース割り当て戦略は、テスト報酬においてDRLベースの手法を上回り、送信パrameterの最適化が優れていることが示された。
• BEPが10⁻⁵の場合、約50回の拡散ステップで十分に高品質な画像再構築が可能となり、SSIMが0.92以上を達成した。
• BEPが10⁻³に上昇すると、再構築画像にノイズが発生し、SSIMスコアが著しく低下することが明らかになった。これは、低誤り率送信の重要性を示している。
• ジャマリングパワーが24 dBWを超えると、検出確率が閾値を超えて満たされ、与えられた環境下で隠蔽通信要件を満たす。
• ジャマリングパワーが増加するにつれ、隠蔽レートは低下するが、セキュリティとデータレートのバランスが取れている。
• 提案手法により、共同トレーニングを必要とせず、高精度な画像再構築が実現され、意味的通信における計算コストとエネルギー消費が削減された。

Figure 2: The proposed GAI-aided secure SemCom system with the covert communications technique.