[论文解读] Progressive Feature Transmission for Split Inference at the Wireless Edge

Qiao Lan, Qunsong Zeng+3 more|arXiv (Cornell University)|Dec 14, 2021

Distributed Sensor Networks and Detection Algorithms被引用 7

一句话总结

该论文提出了一种名为渐进式特征传输（ProgressFTX）的新协议，用于在无线边缘人工智能系统中实现高效的分割推理。通过自适应选择最具判别性的特征，并根据信道条件和置信度阈值动态终止传输，ProgressFTX 相较于传统的特征剪枝和随机传输方式，将通信延迟降低了高达60%，尤其在瑞利衰落信道和高维特征负载条件下表现更优。

ABSTRACT

In edge inference, an edge server provides remote-inference services to edge devices. This requires the edge devices to upload high-dimensional features of data samples over resource-constrained wireless channels, which creates a communication bottleneck. The conventional solution of feature pruning requires that the device has access to the inference model, which is unavailable in the current scenario of split inference. To address this issue, we propose the progressive feature transmission (ProgressFTX) protocol, which minimizes the overhead by progressively transmitting features until a target confidence level is reached. The optimal control policy of the protocol to accelerate inference is derived and it comprises two key operations. The first is importance-aware feature selection at the server, for which it is shown to be optimal to select the most important features, characterized by the largest discriminant gains of the corresponding feature dimensions. The second is transmission-termination control by the server for which the optimal policy is shown to exhibit a threshold structure. Specifically, the transmission is stopped when the incremental uncertainty reduction by further feature transmission is outweighed by its communication cost. The indices of the selected features and transmission decision are fed back to the device in each slot. The optimal policy is first derived for the tractable case of linear classification and then extended to the more complex case of classification using a convolutional neural network. Both Gaussian and fading channels are considered. Experimental results are obtained for both a statistical data model and a real dataset. It is seen that ProgressFTX can substantially reduce the communication latency compared to conventional feature pruning and random feature transmission.

研究动机与目标

• 解决在资源受限的无线信道上因高维特征传输而导致的边缘推理通信瓶颈问题。
• 克服传统特征剪枝方法的局限性，后者需要访问推理模型——这在分割推理场景中通常不可用。
• 设计一种能够动态适应时变信道条件、并以最小传输开销实现高推理置信度的协议。
• 优化特征选择与传输终止策略，以在保持高分类准确率的同时最小化延迟。
• 将所提出的协议从线性分类扩展至深度神经网络，包括卷积神经网络，在高斯与衰落无线信道下均适用。

提出的方法

• 提出渐进式特征传输（ProgressFTX）协议，采用两阶段机制，结合基于重要性的特征选择与动态传输终止。
• 在服务器端，基于特征的判别增益（即每维特征所减少的不确定性最大值）进行选择，采用贪心选择策略。
• 实施基于阈值的传输控制策略，当置信度的边际增益不再足以覆盖通信成本时，停止传输。
• 利用随机动态规划推导最优控制策略，证明传输终止策略具有阈值结构。
• 在高斯与瑞利衰落信道下建立优化问题模型，综合考虑联合信源信道编码。
• 通过统计与实测数据模型对特征图及其判别重要性进行建模，将理论框架扩展至卷积神经网络。

实验结果

研究问题

• RQ1 当设备无法访问服务器模型时，如何在分割推理中优化特征传输？
• RQ2 在特征对提升推理置信度的重要性各不相同的情况下，应如何选择最优的传输特征？
• RQ3 在时变无线信道条件下，如何动态终止传输以在通信成本与推理准确率之间取得平衡？
• RQ4 与一次性特征剪枝和随机特征传输相比，所提出的协议在实际无线环境中能否实现显著的延迟降低？
• RQ5 在衰落信道下，ProgressFTX 在复杂模型（如CNN）上的性能表现如何扩展？

主要发现

• 最优特征选择策略被证明为贪心策略，即选择判别增益最大的特征，对应于每维特征带来的不确定性最大减少量。
• 最优传输终止策略具有阈值结构：当增量不确定性减少量低于进一步传输的成本时，停止传输。
• 在高斯与瑞利衰落信道下，ProgressFTX 均实现上界不确定性呈超指数衰减，证明随着传输特征数增加，其渐近收敛于零。
• 在统计数据集与真实世界数据集上的实验结果表明，ProgressFTX 相较于传统特征剪枝与随机传输方式，通信延迟最高降低60%。
• 即使在高维特征负载下（如 GoogLeNet 特征图中的 2×10⁶ 个系数），该协议仍能保持高分类准确率。
• 证明了优化问题的凸性，使得可通过动态规划高效计算最优控制策略。