[論文レビュー] Token Communications: A Large Model-Driven Framework for Cross-modal Context-aware Semantic Communications

Qiao Li, Mahdi Boloursaz Mashhadi+4 more|ArXiv.org|Feb 17, 2025

Semantic Web and Ontologies被引用数 4

ひとこと要約

TokComは、基盤モデルとマルチモーダルLLMからのクロスモーダル文脈を活用して、効率を向上させつつセマンティック品質を維持するトークンベースの生成的セマンティック通信フレームワークを提案します。

ABSTRACT

In this paper, we introduce token communications (TokCom), a large model-driven framework to leverage cross-modal context information in generative semantic communications (GenSC). TokCom is a new paradigm, motivated by the recent success of generative foundation models and multimodal large language models (GFM/MLLMs), where the communication units are tokens, enabling efficient transformer-based token processing at the transmitter and receiver. In this paper, we introduce the potential opportunities and challenges of leveraging context in GenSC, explore how to integrate GFM/MLLMs-based token processing into semantic communication systems to leverage cross-modal context effectively at affordable complexity, present the key principles for efficient TokCom at various layers in future wireless networks. In a typical image semantic communication setup, we demonstrate a significant improvement of the bandwidth efficiency, achieved by TokCom by leveraging the context information among tokens. Finally, the potential research directions are identified to facilitate adoption of TokCom in future wireless networks.

研究の動機と目的

• Bitレベルの信頼性だけでなく、文脈依存のセマンティック通信の必要性を動機づける。
• GFM/MLLMのトークン処理を活用するトークンベースのGenSCフレームワーク（TokCom）を提案する。
• クロスモーダル文脈がセマンティック圧縮、チャネル符号化、ネットワーキングをどのように改善するかを示す。
• 生成的な画像セマンティック通信のケーススタディで堅牢性と効率の向上を実証する。

提案手法

• モダリティ全体でトークン化と埋め込みを導入し、共有トークン語彙を形成する。
• GFMs/MLLMsのトランスフォーマーに基づく次Token/マスクトークン予測を送信者/受信者のパイプラインに組み込む。
• クロスモーダル文脈を用いたトークン推定確率に基づくトークンベースの損失/誤差緩和を定義する。
• 4つのTokCom設定を提示する：意味的ソース圧縮、意味的チャネル符号化、意味的多重アクセス、意味的ネットワークプロトコル。
• Context情報を用いたMaskGITを用いるクロスモーダルTokCom Schemeを提案し、失われたトークンを予測する。
• TokComのバリアントを従来の方式と比較し、意味的/知覚的指標を測定する。

実験結果

リサーチクエスチョン

• RQ1 TokComにおけるGenSCのためのクロスモーダル文脈活用がもたらす機会と課題は何か。
• RQ2 GFMs/MLLMsを介したトランスフォーマー型トークン処理をSemComへ統合してクロスモーダル文脈を活用できるか。
• RQ3 将来の無線ネットワーク層における効率的なTokComの設計原則は何か。
• RQ4 クロスモーダル文脈を用いた生成的画像SemComタスクにおけるTokComの性能はどうか。
• RQ5 TokCom展開における計算量・待ち時間・セマンティック品質のトレードオフは何か。

主な発見

• TokComは、セマンティクスをGFMs/MLLMsで処理される離散トークンへエンコードすることで超低速率のセマンティック通信を達成できる。
• クロスモーダル文脈を活用したトークンレベルの損失/誤差緩和スキームは、再送を抑制しつつセマンティック品質を維持できる。
• 生成的な画像SemComケースでは、クロスモーダル情報を用いたTokComは帯域効率を70.8%向上させ、セマンティック/知覚品質の劣化は僅少。
• MaskGITベースのトークナイザと追加の文脈情報（CMI）を用いるクロスモーダルTokCom Schemeは、CMIなしのバリアントよりCLIPスコアが高い。
• 中〜困難なチャネル条件下でも、TokComはセマンティック/知覚品質（CLIP、LPIPS）を保ちつつPSNRへの影響を抑え、堅牢性を示す。
• このフレームワークは未解決問題を特定し、デバイスエッジクラウド協調推論、効率的トークナイザ、セキュリティの考慮を求めている。