[논문 리뷰] Token Communications: A Large Model-Driven Framework for Cross-modal Context-aware Semantic Communications

Qiao Li, Mahdi Boloursaz Mashhadi외 4명|ArXiv.org|2025. 02. 17.

Semantic Web and Ontologies인용 수 4

한 줄 요약

TokCom은 기초 모델과 멀티모달 LLM에서 교차 모달 컨텍스트를 활용하여 토큰 기반 생성적 의미 통신 프레임워크를 제안하여 효율성을 높이고 의미 품질을 유지합니다.

ABSTRACT

In this paper, we introduce token communications (TokCom), a large model-driven framework to leverage cross-modal context information in generative semantic communications (GenSC). TokCom is a new paradigm, motivated by the recent success of generative foundation models and multimodal large language models (GFM/MLLMs), where the communication units are tokens, enabling efficient transformer-based token processing at the transmitter and receiver. In this paper, we introduce the potential opportunities and challenges of leveraging context in GenSC, explore how to integrate GFM/MLLMs-based token processing into semantic communication systems to leverage cross-modal context effectively at affordable complexity, present the key principles for efficient TokCom at various layers in future wireless networks. In a typical image semantic communication setup, we demonstrate a significant improvement of the bandwidth efficiency, achieved by TokCom by leveraging the context information among tokens. Finally, the potential research directions are identified to facilitate adoption of TokCom in future wireless networks.

연구 동기 및 목표

• 비트 단위의 신뢰도 너머의 맥락 인식 의미 통신의 필요성을 동기화합니다.
• GFM/MLLM 토큰 처리를 활용하는 토큰 기반 GenSC 프레임워크(TokCom)를 제안합니다.
• 교차 모달 컨텍스트가 의미 압축, 채널 코딩, 네트워킹을 향상시키는 방법을 보여줍니다.
• 생성적 이미지 의미 통신 사례 연구에서 견고성과 효율성 향상을 입증합니다.

제안 방법

• 다 modalities 간 토큰화와 임베딩을 도입해 공유 토큰 어휘를 형성합니다.
• GFMs/MLLMs의 트랜스포머 기반 next/masked 토큰 예측을 송신기/수신기 파이프라인에 통합합니다.
• 교차 모달 컨텍스트를 이용한 토큰 신뢰도 추정으로 토큰 기반 손실/오류 완화를 정의합니다.
• 의미 소스 압축, 의미 채널 코딩, 의미 다중 접속, 의미 네트워크 프로토콜의 네 가지 TokCom 설정을 제시합니다.
• 맥스고잇(MaskGIT)과 컨텍스트 정보를 사용하는 교차 모달 TokCom 스킴을 제안해 손실 토큰을 예측합니다.
• TokCom 변형들을 기존 스킴과 비교하고 의미적/지각적 지표를 측정합니다.

실험 결과

연구 질문

• RQ1 TokCom에서 교차 모달 컨텍스트를 활용한 GenSC의 기회와 도전은 무엇인가요?
• RQ2 GFMs/MLLMs를 통한 트랜스포머 기반 토큰 처리를 SemCom에 어떻게 통합해 교차 모달 컨텍스트를 활용할 수 있을까요?
• RQ3 향후 무선 네트워크 계층에서 효율적인 TokCom을 위한 핵심 설계 원칙은 무엇인가요?
• RQ4 교차 모달 컨텍스트를 활용한 생성적 이미지 SemCom 태스크에서 TokCom의 성능은 어떠한가요?
• RQ5 TokCom 배포에서 계산량, 지연 및 의미 품질 간의 트레이드오프는 어떻게 되나요?

주요 결과

• TokCom은 GFMs/MLLMs가 처리하는 이산 토큰으로 의미를 인코딩함으로써 초저전력 의미 통신을 달성할 수 있습니다.
• 교차 모달 컨텍스트를 활용한 토큰 수준의 손실/오류 완화 스킴은 재전송을 줄이면서 의미 품질을 유지할 수 있습니다.
• 생성적 이미지 SemCom 사례에서 교차 모달 정보를 가진 TokCom은 의미/지각 품질의 큰 손실 없이 대역폭 효율을 70.8% 향상시킵니다.
• CMI를 추가한 컨텍스트 정보를 사용하는 MaskGIT 기반 토크나이저의 교차 모달 TokCom 스킴은 CMI가 없는 변형보다 더 높은 CLIP 점수를 산출합니다.
• 보통에서 까다로운 채널 조건에서도 TokCom은 CLIP, LPIPS와 같은 의미/지각 품질을 유지하고 PSNR에 미치는 영향이 제한적이며 견고함을 보여줍니다.
• 이 프레임워크는 공개 문제를 식별하고 디바이스-엣지-클라우드 추론 협력, 효율적인 토크나이저, 보안 고려사항을 촉구합니다.