[논문 리뷰] A Unified Multi-Task Semantic Communication System for Multimodal Data

Guangyi Zhang, Qiyu Hu외 4명|arXiv (Cornell University)|2022. 09. 16.

Domain Adaptation and Few-Shot Learning인용 수 29

한 줄 요약

이 논문은 다중 작업 및 여러 데이터 모달리티(image, text, speech)를 지원하는 동적 특징 전송 방식과 통일 코드북을 갖춘 통합 딥러닝 기반 의미 통신 시스템인 U-DeepSC를 소개한다.

ABSTRACT

Task-oriented semantic communications have achieved significant performance gains. However, the employed deep neural networks in semantic communications have to be updated when the task is changed or multiple models need to be stored for performing different tasks. To address this issue, we develop a unified deep learning-enabled semantic communication system (U-DeepSC), where a unified end-to-end framework can serve many different tasks with multiple modalities of data. As the number of required features varies from task to task, we propose a vector-wise dynamic scheme that can adjust the number of transmitted symbols for different tasks. Moreover, our dynamic scheme can also adaptively adjust the number of transmitted features under different channel conditions to optimize the transmission efficiency. Particularly, we devise a lightweight feature selection module (FSM) to evaluate the importance of feature vectors, which can hierarchically drop redundant feature vectors and significantly accelerate the inference. To reduce the transmission overhead, we then design a unified codebook for feature representation to serve multiple tasks, where only the indices of these task-specific features in the codebook are transmitted. According to the simulation results, the proposed U-DeepSC achieves comparable performance to the task-oriented semantic communication system designed for a specific task but with significant reduction in both transmission overhead and model size.

연구 동기 및 목표

• 모델 크기와 전송 오버헤드를 줄이기 위해 작업과 데이터 모달리티 전반에 걸친 통합 의미 통신 프레임워크의 필요성을 동기 부여한다.
• 작업별 재학습이나 별도의 모델 없이 여러 작업을 수행할 수 있는 통합 엔드-투-엔드 시스템을 개발한다.
• 작업 요구사항 및 채널 조건에 따라 전송될 특징 수를 조정하는 동적 채널 인코더를 도입한다.
• 중복 특징을 제거하고 추론 속도를 높이기 위한 경량 특징 선택 모듈(FSM)을 설계한다.
• 효율적인 디지털 통신으로 다중 작업, 다중 모달 전송을 지원하기 위한 통합 코드북과 Transformer 기반 디코더를 제안한다.

제안 방법

• 모듈별 시맨틱 인코더와 통합 리시버를 갖춘 네 부분으로 구성된 U-DeepSC를 제안한다. 이는 이미지, 텍스트, 음성 데이터를 처리할 수 있다.
• 각 데이터 샘플의 의도된 작업을 표시하기 위해 작업 임베딩 벡터와 작업 질의 행렬을 도입한다.
• 다양한 채널 조건에서 전송될 특징 수를 조정하는 계층적 FSM 기반 특징 선택을 갖춘 동적 채널 인코더를 구현한다.
• 교차 작업 특징 표현을 위한 통합 이산 코드북을 사용하여 특징 인덱스만 전송하고 오버헤드를 줄인다.
• 다중 작업 학습을 위한 병렬 학습과 두 단계 학습 알고리즘을 갖춘 마스킹된 교차 어텐션 기제를 갖춘 Transformer 기반 디코더를 채택한다.

실험 결과

연구 질문

• RQ1 하나의 모델이 작업별 재학습 없이 세 가지 모달리티에 걸친 여러 작업을 효과적으로 수행할 수 있는가?
• RQ2 다른 채널에서 성능과 효율성의 균형을 맞추기 위해 전송 오버헤드를 동적으로 어떻게 제어할 수 있는가?
• RQ3 다양한 작업에 대한 다중 모드 데이터 전반에서 효율적인 특징 선택과 간결한 표현을 가능하게 하는 기작은 무엇인가?
• RQ4 통합 코드북과 디코더가 다중 작업, 다중 모달 의미 전송을 어떻게 지원할 수 있는가?

주요 결과

• U-DeepSC는 작업별 시맨틱 시스템과 유사한 작업 성능을 달성하면서도 전송 오버헤드와 모델 크기를 크게 줄인다.
• 경량 FSM은 다양한 채널 조건에서 성능과 전송 속도 간의 균형을 맞추며 전송되는 특징 벡터의 수를 동적으로 조정할 수 있다.
• 통합 코드북은 특징 인덱스를 원시 특징 대신 전송함으로써 이산 디지털 전송을 가능하게 하여 작업 전반의 오버헤드를 줄인다.
• 마스킹된 교차 어텐션을 갖춘 Transformer 기반의 통합 디코더는 병렬 학습을 가능하게 하고 다중 작업을 효율적으로 지원한다.
• 계층적 특징 선택은 불필요한 특징을 점진적으로 제거하여 정확도를 크게 해치지 않으면서 추론 속도를 가속화한다.