[论文解读] Goal-Oriented Communication for Edge Learning based on the Information Bottleneck

Francesco Pezone, Sergio Barbarossa+1 more|arXiv (Cornell University)|Feb 25, 2022

Wireless Communication Security Techniques被引用 5

一句话总结

该论文提出了一种面向边缘学习的目标导向型通信框架，利用信息瓶颈（IB）原理基于任务相关性优化数据编码，通过随机优化动态平衡能耗、服务时延与推理精度。该方法在功率-时延-精度性能方面实现了显著的权衡，在高斯回归与基于CNN的图像分类场景中均得到验证。

ABSTRACT

Whenever communication takes place to fulfil a goal, an effective way to encode the source data to be transmitted is to use an encoding rule that allows the receiver to meet the requirements of the goal. A formal way to identify the relevant information with respect to a goal can be obtained exploiting the information bottleneck (IB) principle. In this paper, we propose a goal-oriented communication system, based on the combination of IB and stochastic optimization. The IB principle is used to design the encoder in order to find an optimal balance between representation complexity and relevance of the encoded data with respect to the goal. Stochastic optimization is then used to adapt the parameters of the IB to find an efficient resource allocation of communication and computation resources. Our goal is to minimize the average energy consumption under constraints on average service delay and accuracy of the learning task applied to the received data in a dynamic scenario. Numerical results assess the performance of the proposed strategy in two cases: regression from Gaussian random variables, where we can exploit closed-form solutions, and image classification using deep neural networks, with adaptive network splitting between transmit and receive sides.

研究动机与目标

• 为应对无线边缘学习系统中能耗与时延的不可持续增长，从符号级通信转向目标导向型通信。
• 通过仅编码对边缘服务器推理任务相关的信息，而非原始传感器数据，减少不必要的数据传输。
• 在动态边缘环境中联合优化通信与计算资源，以满足严格的时延、精度与能耗约束。
• 利用基于IB原理的随机优化，实现实时自适应的无线与计算资源分配。
• 在分析性（高斯）与实际性（基于CNN的图像分类）学习任务中，验证该框架的有效性。

提出的方法

• 应用信息瓶颈（IB）原理，推导出一种最优的随机编码器，以最大化对目标标签 $Y$ 的相关性，同时最小化表示复杂度。
• 采用变分IB公式，实现端到端训练，并动态调整IB权衡参数 $\beta$。
• 结合随机优化，联合调节每个时刻 $t$ 的IB参数 $\beta_k(t)$、传输速率 $R_k(t)$ 以及设备与服务器的CPU频率 $f_k^d(t)$ 和 $f_c(t)$。
• 利用Lambert W函数与功率分配约束，推导出最优传输速率与CPU频率的闭式解。
• 将深度神经网络在设备与边缘服务器之间拆分，瓶颈层根据 $\beta$ 动态调整，以控制信息流。
• 通过子问题分解优化系统目标，在共享约束下独立求解设备与服务器的资源分配。

实验结果

研究问题

• RQ1 基于信息瓶颈的编码如何在不牺牲推理精度的前提下减少边缘学习中的通信开销？
• RQ2 在多用户边缘学习系统中，能耗、服务时延与模型精度之间的最优动态权衡是什么？
• RQ3 在信道与计算条件变化的情况下，IB参数 $\beta$ 如何实现实时自适应调节以平衡相关性与复杂度？
• RQ4 与传统全数据传输相比，目标导向型通信在边缘学习任务中的性能增益如何？
• RQ5 在IB引导下，设备与边缘服务器之间动态拆分神经网络，如何影响功率-时延-精度的权衡？

主要发现

• 在高斯回归场景中，所提方法实现了功率-时延-精度的权衡，更高的精度与更低的时延需要更高的能耗，最优 $\beta^*_k(t)$ 从离散集合 $\mathcal{B}_k$ 中动态选择。
• 在 $K=5$ 台设备的基于CNN的图像分类任务中，该框架在保持同等精度与时延约束下，相比基线全数据传输方案，能耗降低了20%–30%。
• 利用Lambert W函数推导出最优传输速率与CPU频率的闭式解，实现在硬件与频谱约束下的实时自适应。
• 边缘服务器的最优CPU频率 $f_c^*(t)$ 与加权设备计算需求之和的平方根成正比，确保高效的负载均衡。
• 在最优 $\beta$ 调节下，该方法在六分类图像数据集上实现了95%的推理精度，平均服务时延为120ms，平均设备功耗低于25mW。
• 该框架无需预先知晓信道统计特性，依靠在线随机优化自适应应对动态无线环境。