[논문 리뷰] Wireless TokenCom: RL-Based Tokenizer Agreement for Multi-User Wireless Token Communications

Farshad Zeinali, Mahdi Boloursaz Mashhadi외 2명|arXiv (Cornell University)|2026. 02. 12.

Wireless Signal Modulation Classification인용 수 0

한 줄 요약

이 논문은 다중 사용자 무선 TokenCom에서 토크나이저 합의, 서브 채널 할당, 빔포밍을 공동 최적화하기 위한 하이브리드 DQN–DDPG 강화학습 프레임워크를 제안하여 의미 품질을 향상시키고 비디오 얼어짐을 줄인다.

ABSTRACT

Token Communications (TokenCom) has recently emerged as an effective new paradigm, where tokens are the unified units of multimodal communications and computations, enabling efficient digital semantic- and goal-oriented communications in future wireless networks. To establish a shared semantic latent space, the transmitters/receivers in TokenCom need to agree on an identical tokenizer model and codebook. To this end, an initial Tokenizer Agreement (TA) process is carried out in each communication episode, where the transmitter/receiver cooperate to choose from a set of pre-trained tokenizer models/ codebooks available to them both for efficient TokenCom. In this correspondence, we investigate TA in a multi-user downlink wireless TokenCom scenario, where the base station equipped with multiple antennas transmits video token streams to multiple users. We formulate the corresponding mixed-integer non-convex problem, and propose a hybrid reinforcement learning (RL) framework that integrates a deep Q-network (DQN) for joint tokenizer agreement and sub-channel assignment, with a deep deterministic policy gradient (DDPG) for beamforming. Simulation results show that the proposed framework outperforms baseline methods in terms of semantic quality and resource efficiency, while reducing the freezing events in video transmission by 68% compared to the conventional H.265-based scheme.

연구 동기 및 목표

• 사전 학습된 토크나이저/코드북 쌍을 사용한 의미 지향적이면서 목표 지향적인 무선 패러다임으로 TokenCom을 모티브화한다.
• 다중 사용자 다운링크 TokenCom에서 토크나이저 합의, 서브 채널 할당, 빔포밍을 공동으로 최적화하기 위한 혼합 정수 비선형 문제를 형식화한다.
• 문제를 해결하기 위해 디스크리트 의사결정에는 DQN, 연속 행동에는 DDPG를 사용하는 하이브리드 강화학습 솔루션을 개발한다.
• 적응형 토크나이저 합의가 의미 품질과 자원 효율성을 개선하고 비디오 얼어짐을 감소시키는 것을 입증한다.
• 현실적인 비디오 토크나이제이션 설정에서 더 많은 사용자 및 안테나 수에 대해 확장 가능성을 보여준다.

제안 방법

• 채널 조건, 속도, 선택된 토크나이저 쌍을 포착하는 상태를 갖는 MDP로 문제를 모델링한다.
• DQN이 이산적인 토크나이저 및 서브 채널 할당을 선택하고 DDPG가 연속 빔포밍 벡터를 출력하는 하이브리드 아키텍처를 사용한다.
• 의미 품질과 전력 소모를 결합한 정규화된 유틸리티에 대한 보상과 제약 위반에 대한 페널티를 정의한다.
• 에피소드별로 결정 조건을 제시하기 위해 ηm_i 토크나이저/디토큰라이저 쌍을 포함하도록 상태를 표현한다.
• DQN의 TD 손실과 DDPG의 벨만/액터-크리틱 업데이트를 이용한 경험 재생 및 타깃 네트워크로 학습한다.
• 에피소드 기반 토크나이저 선택 및 슬롯별 자원 할당을 상세히 다루는 알고리즘(Algorithm 1)을 제공한다.

실험 결과

연구 질문

• RQ1 다중 사용자 TokenCom 시스템에서 토크나이저 합의, 서브 채널 배치, 빔포밍을 어떻게 공동 최적화할 것인가?
• RQ2 하이브리드 DQN–DDPG RL 프레임워크가 채널 조건과 의미 요구에 맞춰 토크나이저 선택을 적응시켜 시스템 유틸리티를 극대화할 수 있는가?
• RQ3 적응형 TA가 비디오 품질 지표 및 자원 효율성에 미치는 영향은 무엇이며 baseline과 비교했을 때 어떤 차이가 있는가?
• RQ4 더 많은 사용자와 더 큰 안테나 배열에서 프레임워크의 확장성은 어떤가?
• RQ5 제안된 접근에서 의미 품질, 속도 및 전력 간의 trade-off는 무엇인가?

주요 결과

• 제안된 프레임워크가 의미 품질과 자원 효율성에서 baseline을 상회한다.
• 전통적인 H.265 기반 스킴에 비해 비디오 얼어짐을 크게 감소시킨다(초록에 68% 감소로 보고).
• 다양한 사용자 수와 안테나 수에서 PSNR이 더 높아지며, U=4, N=64에서 기존 기반 대비 약 10 dB PSNR 우위가 관측된다.
• 탐색 초기 이후 얼어짐 비율이 낮고 더 안정적으로 나타나며 토크나이저-NT 적응이 효과적으로 작용한다.
• 전송 전력이 증가하고 안테나가 많아질수록 성능이 개선되며 시나리오 전반에 걸쳐 확장성과 강건함을 시사한다.