[論文レビュー] Large AI Model-Based Semantic Communications

Feibo Jiang, Yubo Peng+5 more|arXiv (Cornell University)|Jul 7, 2023

Robotics and Automated Systems被引用数 4

ひとこと要約

本稿では、画像データ向けに大規模AIモデルを活用して意味的知識ベース（SKB）を構築する大規模AIモデルベース意味的通信（LAM-SC）フレームワークを提案する。Segment Anything Model（SAM）を用いて高品質な画像セグメンテーションを実現する。意味的統合（ASI）と適応的意味的圧縮（ASC）を導入し、自動的に意味的セグメントの重みを割り当てて統合するとともに、通信オーバーヘッドを低減する。従来のSC方式と比較して、送信ビット数を81.8％削減しながらも、高い画像忠実度を維持した。

ABSTRACT

Semantic communication (SC) is an emerging intelligent paradigm, offering solutions for various future applications like metaverse, mixed reality, and the Internet of Everything. However, in current SC systems, the construction of the knowledge base (KB) faces several issues, including limited knowledge representation, frequent knowledge updates, and insecure knowledge sharing. Fortunately, the development of the large AI model (LAM) provides new solutions to overcome the above issues. Here, we propose a LAM-based SC framework (LAM-SC) specifically designed for image data, where we first apply the segment anything model (SAM)-based KB (SKB) that can split the original image into different semantic segments by universal semantic knowledge. Then, we present an attention-based semantic integration (ASI) to weigh the semantic segments generated by SKB without human participation and integrate them as the semantic aware image. Additionally, we propose an adaptive semantic compression (ASC) encoding to remove redundant information in semantic features, thereby reducing communication overhead. Finally, through simulations, we demonstrate the effectiveness of the LAM-SC framework and the possibility of applying the LAM-based KB in future SC paradigms.

研究の動機と目的

• 従来の意味的通信（SC）システムに見られる知識表現の制限、頻繁な更新、知識共有の非セキュア性といった課題に対処すること。
• 特にSegment Anything Model（SAM）を活用して、画像データ向けに強固で汎用的な意味的知識ベース（SKB）を構築すること。
• 意味的忠実度を保持しつつ通信オーバーヘッドを最小限に抑えるエンドツーエンドのSCフレームワークを構築すること。自動意味的統合と圧縮により実現する。
• 実際の通信環境下で、標準的な画像再構成指標を用いて提案フレームワークの性能を評価すること。

提案手法

• 入力画像を意味的セグメントに意味的に意味のある形でゼロショットで普遍的にセグメンテーションできる、Segment Anything Model（SAM）に基づく知識ベース（SKB）を設計する。
• 人為的介入なしに、セグメント化された意味的特徴に重みを自動的に割り当て、統合するアテンションベースの意味的統合（ASI）メカニズムを提案する。
• 意味的特徴内の冗長情報を削除するための適応的意味的圧縮（ASC）を導入し、送信データサイズを縮小しながらも、本質的な意味的コンテンツを保持する。
• SKB、ASI、ASCを統合し、従来のビットレベル伝送に代わる意味的レベル通信を実現する完全なLAM-SCフレームワークを構築する。
• 意味的表現忠実度と通信効率の両方を最適化するため、深層ニューラルネットワークを用いてエンドツーエンドのシステムを訓練する。
• 意味的エンコーダ、デコーダ、チャネル部の3つを統合的に訓練することで、意味的忠実度と伝送効率の両面でグローバル最適性を達成する。

実験結果

リサーチクエスチョン

• RQ1 SAMのような大規模AIモデルを用いて、スケーラブルで高精度な意味的知識ベース（SKB）を画像ベースの意味的通信に効果的に構築できるか？
• RQ2 アテンションベースの意味的統合（ASI）は、人為的監視なしに意味的セグメントの統合をどの程度自動化できるか？
• RQ3 適応的意味的圧縮（ASC）は、意味的正確性を維持しつつ、どの程度通信オーバーヘッドを低減できるか？
• RQ4 LAM-SCフレームワークは、再構成品質とデータ圧縮の観点から、従来のSC方式と比べてどの程度優れているか？

主な発見

• LAM-SCフレームワークは、従来のSC方式と比較して送信データサイズを81.8％削減し、元の画像の49,152ビットに対してわずか8,960ビットにまで低減した。
• 同じ信号対雑音比（SNR）条件下で、LAM-SCフレームワークの損失値は従来のSC方式よりも速くかつ安定して収束した。
• LAM-SCフレームワークは、伝送中の画像歪みを低減していることを示し、高いピーク信号対雑音比（PSNR）値を達成した。
• LAM-SCフレームワークは、画像構造と意味的整合性の維持に優れており、優れた構造的類似性（SSIM）値を示した。
• 提案されたASIメカニズムは、最小限の人的介入で意味的セグメントを効果的に統合し、システムの自動化を向上させた。
• ASCモジュールは冗長な意味的特徴を効果的に削除し、意味的忠実度を損なわず、通信オーバーヘッドを顕著に低減した。