[논문 리뷰] Task-Oriented Image Semantic Communication Based on Rate-Distortion Theory

Fangfang Liu, Wanjie Tong외 3명|arXiv (Cornell University)|2022. 01. 26.

AI in cancer detection인용 수 5

한 줄 요약

이 논문은 재구성된 이미지와 작업 레이블 간의 상호정보를 활용하여 픽셀 수준의 왜곡과 작업 관련 의미적 왜곡을 동시에 최소화하는 새로운 비율-왜곡 프레임워크인 작업 중심 의미 통신 및 의미 복원(TOSC-SR)을 제안한다. 이 방법은 기존의 전통적 및 딥러닝 기반 기준 대비 이미지 복원 성능, 인공지능 작업 정확도, 다중 작업 일반화 능력에서 뛰어난 성능을 달성한다.

ABSTRACT

Task-oriented image semantic communication is a new communication paradigm, which aims to transmit semantics for artificial intelligent (AI) tasks while ignoring the reconstruction quality of the images. However, in some applications, such as autonomous driving, both image reconstruction quality and the performance of the followed AI tasks must be simultaneously considered. To tackle this challenge, this paper proposes a task-oriented semantic communication scheme with semantic reconstruction (TOSC-SR). Its main goal is to simultaneously minimize pixel-level and task-relevant semantic-level distortion during communications under a certain rate, which formulates a new rate-distortion optimization problem. To successfully measure the loss at the semantic level, a new form of semantic distortion measured by the mutual information between the semantic-reconstructed images and the task labels is proposed. Then, we derive an analytical solution for the formulated problem, where the self-consistent equations of the problem are obtained to determine the optimal mapping of the source and the semantic-reconstructed images. To implement TOSC-SR, we further obtain an extended form of rate-distortion form based on the variational approximation of mutual information, which is applicable to multiple AI tasks. Experimental results show that the proposed approach outperforms the traditional JPEG, JPEG2000, BPG, VVC-based image communication systems and deep learning based benchmarks in terms of image reconstruction quality, AI task performance, and multi-task generalization ability.

연구 동기 및 목표

• 기존 의미 통신 시스템이 오직 작업 성능이나 이미지 복원 성능만을 우선시하는 한계를 해결하기 위해.
• 고정된 전송 비율 조건 하에서 픽셀 수준의 복원 품질과 작업 관련 의미적 충실도를 동시에 최적화하기 위해.
• 정보이론적 원리를 활용하여 두 가지 종류의 왜곡을 포함하는 새로운 비율-왜곡 최적화 문제를 수립하기 위해.
• 확장 가능한 다중 작업 의미 통신을 위해 변분 근사법을 활용한 상호정보의 근사화를 개발하기 위해.

제안 방법

• 의미 복원 이미지와 작업 레이블 간의 상호정보를 기반으로 한 새로운 의미 왜곡 측정 기준을 제안한다.
• 소스 이미지 및 재구성된 이미지 매핑에 대한 자기일관성 방정식을 사용하여 공동 비율-왜곡 최적화 문제의 해석적 해를 유도한다.
• 엔드 투 엔드 학습을 가능하게 하고 다양한 인공지능 작업에의 적용 가능성을 확장하기 위해 상호정보의 변분 근사를 도입한다.
• 통합 최적화 목표를 통해 비율, 픽셀 수준 왜곡, 의미 왜곡을 균형 잡기 위해 라그랑주 이완 프레임워크를 사용한다.
• 유도된 업데이트 규칙를 통해 최적화되는 조건부 확률 $ p(\hat{\bm{x}}|\bm{x}) $ 를 갖는 매개변수화된 채널 모델을 활용한다.
• 작업에 특화된 정보를 흡수하는 정규화 항 $ r(\bm{x}) $ 를 통합하여 다양한 후행 작업에 대한 탄력적인 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 이미지 통신 시스템은 어떻게 이미지 복원 품질과 후행 인공지능 작업 성능을 동시에 최적화할 수 있는가?
• RQ2 작업 관련성을 포괄하는 효과적이고 정보이론적으로 탄탄한 의미 왜곡 측정 기준은 무엇인가?
• RQ3 고정된 비율 제약 조건 하에서 픽셀 수준 왜곡과 의미 수준 왜곡을 동시에 최소화할 수 있는 통합 비율-왜곡 프레임워크는 가능한가?
• RQ4 딥러닝 환경에서 재구성된 이미지와 작업 레이블 간의 상호정보를 효과적으로 근사하고 최적화할 수 있는가?
• RQ5 다중 작업 시나리오에서 제안된 방법은 기존의 전통적 코덱과 기존의 의미 통신 시스템에 비해 어떤 성능 향상을 보이는가?

주요 결과

• 제안된 TOSC-SR 프레임워크는 JPEG, JPEG2000, BPG, VVC와 같은 기존의 전통적 코덱보다 이미지 복원 품질과 후행 인공지능 작업 성능 모두에서 뛰어난 성능을 보인다.
• TOSC-SR는 최신의 딥러닝 기반 이미지 압축 방법보다 벤치마크 데이터셋에서 더 높은 피크 신호 대 노이즈비(PSNR)와 더 나은 분류 정확도를 달성한다.
• 시스템은 재학습 없이도 다양한 인공지능 작업에서 높은 성능을 유지하는 강력한 다중 작업 일반화 능력을 보여준다.
• 변분 근사법을 통한 상호정보 근사는 다중 작업에 걸쳐 효과적이고 확장 가능한 최적화를 가능하게 한다.
• 자기일관성 방정식에서 도출된 해석적 해는 의미 통신에서 최적의 매핑 설계를 위한 이론적 기반을 제공한다.
• 실험 결과는 픽셀 수준과 의미 수준의 왜곡을 동시에 최소화함으로써 전체 시스템 성능 향상이 이루어짐을 확인한다.