[论文解读] Environment-Aware Adaptive Pruning with Interleaved Inference Orchestration for Vision-Language-Action Models
EcoVLA 是一个训练无关、即插即用的自适应裁剪框架,针对环境感知裁剪(EAP)和互交推理编排(I2O)实现实时加速,在多种设置下可达1.60x–2.18x的加速,且精度损失极小。
While Vision-Language-Action (VLA) models hold promise in embodied intelligence, their large parameter counts lead to substantial inference latency that hinders real-time manipulation, motivating parameter sparsification. However, as the environment evolves during VLA execution, the optimal sparsity patterns change accordingly. Static pruning lacks the adaptability required for environment dynamics, whereas fixed-interval dynamic layer pruning suffers from coarse granularity and high retraining overheads. To bridge this gap, we propose EcoVLA, a training-free, plug-and-play adaptive pruning framework that supports orthogonal combination with existing VLA acceleration methods. EcoVLA comprises two components: Environment-aware Adaptive Pruning (EAP) and Interleaved Inference Orchestration ($I^2O$). EAP is a lightweight adaptive channel pruning method that incorporates the temporal consistency of the physical environment to update sparsity patterns. $I^2O$ leverages the FLOPs bubbles inherent in VLA inference to schedule the pruning method in parallel, ensuring negligible impact on latency. Evaluated on diverse VLA models and benchmarks, EcoVLA delivers state-of-the-art performance, achieving up to 1.60$ imes$ speedup with only a 0.4% drop in success rate, and further reaches 2.18$ imes$ speedup with only a 0.5% degradation when combined with token pruning. We further validate the effectiveness of EcoVLA on real-world robots.
研究动机与目标
- 推动减少 Vision-Language-Action (VLA) 模型推理延迟,原因在于大量参数。
- 开发一个训练无关、可适应的裁剪框架,能够对环境动态做出响应。
- 通过将裁剪任务安排在推理 FLOPs 气泡内实现低开销裁剪。
- 展示与现有 VLA 加速技术及真实世界机器人兼容性。
提出的方法
- 引入环境感知自适应裁剪(EAP),通过环境视觉特征与时间上下文识别稀疏性变化。
- 通过聚合瞬时特征与历史特征以及一个将权重幅值与融合激活整合的重要性分数,计算稀疏性模式。
- 提出 Interleaved Inference Orchestration (I2O),通过利用 FLOPs 气泡使裁剪计算与 VLA 推理并行运行,最小化额外延迟。
- 提供硬件高效实现,包括稀疏核、内存合并和融合核,以加速密集与稀疏执行。
- 保持训练无关的工作方式,并与现有加速方法(如 FastV、VLA-Cache)保持即插即用兼容性。
- 在 LLM 块级别提出结构化裁剪,采用通道向掩码和权重矩阵对齐以提高硬件效率。
实验结果
研究问题
- RQ1裁剪模式如何在不重新训练的情况下对动态环境进行自适应?
- RQ2裁剪计算是否可以嵌入推理 FLOPs 以避免端到端延迟的增加?
- RQ3单独应用环境感知自适应裁剪与结合令牌裁剪时的实际收益(加速与精度)?
- RQ4所提方法是否可在不同 VLA 架构和真实机器人场景中泛化?
- RQ5在自适应裁剪约束下,哪些硬件层面的优化最能支撑密集与稀疏 VLA 推理?
主要发现
- EcoVLA 在模拟 VLA 基准中实现高达 1.60x 的加速,成功率仅下降 0.4%。
- 与令牌裁剪结合时,EcoVLA 可达高达 2.18x 的加速,相对基线仅降 0.5%。
- 该框架在 LIBERO 与 SIMPLER 基准上的 OpenVLA-OFT、pi0.5 与 CogACT 模型上表现出鲁棒性提升。
- 在 7-DoF Kinova Gen3 实际部署中,展示了在生产环境中的实际加速效果。
- I2O 将裁剪开销隐藏在 FLOPs 气泡中,维持适用于实时控制的端到端延迟。
- 硬件高效的核实现与内存优化共同促进了密集与稀疏推理的总延迟下降。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。