[논문 리뷰] Environment-Aware Adaptive Pruning with Interleaved Inference Orchestration for Vision-Language-Action Models
EcoVLA는 시각-언어-행동(Vision-Language-Action) 모델용 훈련 제로의 플러그 앤 플레이 적응형 가지치기 프레임워크로, 환경 인식 가지치기(EAP)와 인터리브드 추론 조정(I2O)을 사용하여 다양한 설정에서 최대 1.60x–2.18x의 실시간 속도 향상과 최소한의 정확도 손실을 달성합니다.
While Vision-Language-Action (VLA) models hold promise in embodied intelligence, their large parameter counts lead to substantial inference latency that hinders real-time manipulation, motivating parameter sparsification. However, as the environment evolves during VLA execution, the optimal sparsity patterns change accordingly. Static pruning lacks the adaptability required for environment dynamics, whereas fixed-interval dynamic layer pruning suffers from coarse granularity and high retraining overheads. To bridge this gap, we propose EcoVLA, a training-free, plug-and-play adaptive pruning framework that supports orthogonal combination with existing VLA acceleration methods. EcoVLA comprises two components: Environment-aware Adaptive Pruning (EAP) and Interleaved Inference Orchestration ($I^2O$). EAP is a lightweight adaptive channel pruning method that incorporates the temporal consistency of the physical environment to update sparsity patterns. $I^2O$ leverages the FLOPs bubbles inherent in VLA inference to schedule the pruning method in parallel, ensuring negligible impact on latency. Evaluated on diverse VLA models and benchmarks, EcoVLA delivers state-of-the-art performance, achieving up to 1.60$ imes$ speedup with only a 0.4% drop in success rate, and further reaches 2.18$ imes$ speedup with only a 0.5% degradation when combined with token pruning. We further validate the effectiveness of EcoVLA on real-world robots.
연구 동기 및 목표
- 매우 큰 매개변수 수로 인해 Vision-Language-Action (VLA) 모델의 추론 지연 감소의 필요성을 제시한다.
- 환경 역학에 반응하는 훈련 없이도 적응 가능한 가지치기 프레임워크를 개발한다.
- 추론 FLOPs 버블 내에서 가지치기 작업을 스케줄링하여 저오버헤드 가지치기를 달성한다.
- 기존 VLA 가속 기술 및 실제 로봇과의 호환성을 입증한다.
제안 방법
- 시각적 환경 특징과 시간적 맥락으로부터 희소성 변화를 식별하기 위해 Environment-aware Adaptive Pruning (EAP)을 도입한다.
- 가중치 크기와 융합 활성화 값을 결합한 중요도 점수와 함께 순간 특성과 과거 특성을 모아 시간적 일관성을 사용하여 희소성 패턴을 계산한다.
- FLOPs 버블을 활용하여 가지치기 계산을 VLA 추론과 병렬로 실행하도록 Interleaved Inference Orchestration (I2O)을 제안하여 추가 지연을 최소화한다.
- 조밀한 실행과 희소 실행을 가속하기 위해 희소 커널, 메모리 꼬임 방지(memory coalescing), 융합 커널을 포함한 하드웨어 효율적인 구현을 제공한다.
- 훈련-free 작동과 기존 가속 방법(FastV, VLA-Cache 등)과의 플러그 앤 플레이 호환성을 유지한다.
- 하드웨어 효율성을 위해 채널별 마스킹과 가중치 행렬의 정합을 통한 하드웨어 효율성을 갖는 구조화 가지치기를 제안한다.
실험 결과
연구 질문
- RQ1재훈련 없이도 VLA 모델의 가지치기 패턴이 어떻게 동적으로 변하는 환경에 적응할 수 있는가?
- RQ2스트리밍 VLA 제어의 엔드투엔드 지연을 증가시키지 않도록 가지치기 계산을 추론의 FLOPs에 숨길 수 있는가?
- RQ3환경 인지 적응 가지치기만 적용했을 때와 토큰 가지치기와 결합했을 때의 실제 이익(가속 및 정확도)은 무엇인가?
- RQ4제안된 방법이 서로 다른 VLA 아키텍처 및 실제 로봇 환경에서도 일반화될 수 있는가?
- RQ5적응 가지치기 하에서 조밀한 및 희소 VLA 추론을 가장 잘 지원하는 하드웨어 수준 최적화는 무엇인가?
주요 결과
- EcoVLA는 시뮬레이션된 VLA 벤치마크에서 최대 1.60x의 속도 향상과 0.4%의 성공률 감소만으로 달성한다.
- 토큰 가지치기와 결합했을 때 EcoVLA는 최대 2.18x 속도 향상을 달성하고 기준 대비 0.5%의 성능 저하만 발생한다.
- 이 프레임워크는 LIBERO 및 SIMPLER 벤치마크에서 OpenVLA-OFT, pi0.5, CogACT 모델의 강인성을 개선한다.
- 7-DoF Kinova Gen3 로봇의 실제 운용 배치에서 생산 환경에서의 실용적 가속을 시연한다.
- I2O는 FLOPs 버블 내에 가지치기 오버헤드를 숨겨 실시간 제어에 적합한 엔드 투 엔드 지연을 유지한다.
- 하드웨어 효율 커널 및 메모리 최적화가 조밀 및 희소 추론의 전체 지연 감소에 기여한다.
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.