[논문 리뷰] BFA++: Hierarchical Best-Feature-Aware Token Prune for Multi-View Vision Language Action Model
BFA++는 다중 뷰 Vision-Language-Action 모델에서 다계층 토큰 가지치기 프레임워크를 도입하여 포스트 트레이닝 중 뷰를 동적으로 선택하고 태스크 관련 토큰을 선택함으로써 RoboTwin 벤치마크에서 약 1.5–1.8배의 속도 향상과 성공률 약 10% 향상을 달성합니다.
Vision-Language-Action (VLA) models have achieved significant breakthroughs by leveraging Large Vision Language Models (VLMs) to jointly interpret instructions and visual inputs. However, the substantial increase in visual tokens, particularly from multi-view inputs, poses serious challenges to real-time robotic manipulation. Existing acceleration techniques for VLMs, such as token pruning, often result in degraded performance when directly applied to VLA models, as they overlook the relationships between different views and fail to account for the dynamic and task-specific characteristics of robotic operation. To address this, we propose BFA++, a dynamic token pruning framework designed specifically for VLA models. BFA++ introduces a hierarchical pruning strategy guided by two-level importance predictors: an intra-view predictor highlights task-relevant regions within each image to suppress spatial noise, while an inter-view predictor identifies critical camera views throughout different manipulation phases to reduce cross-view redundancy. This design enables efficient token selection while preserving essential visual cues, resulting in improved computational efficiency and higher manipulation success rates. Evaluations on the RoboTwin benchmark and real-world robotic tasks demonstrate that BFA++ consistently outperforms existing methods. BFA++ improves the success rate by about 10% on both the π0 and RDT models, achieving speedup of 1.8X and 1.5X, respectively. Our results highlight that context-sensitive and task-aware token pruning serves as a more effective strategy than full visual processing, enabling faster inference and improved manipulation accuracy in real-world robotic systems.
연구 동기 및 목표
- 다중 뷰 Vision-Language-Action (VLA) 모델이 로봇 조작에 사용될 때 추론 효율성을 동기화하도록 동기를 부여합니다.
- 동적 뷰 간 중요성과 뷰 내 토큰 관련성을 다루어 중복 시각 토큰을 줄입니다.
- VLA 포스트 트레이닝에 맞춤화된 감독된 두 단계(인터뷰 및 인트라 뷰) 토큰 가지치기 프레임워크를 제안합니다.
- 속도와 성공률을 향상시키기 위해 기존 VLA 모델과의 플러그 앤 플레이 통합을 가능하게 합니다.
제안 방법
- 두 가지 경량 예측기를 도입합니다: 인터뷰 중요도 예측기 f_inter와 뷰 내 중요도 예측기 f_intra를 도입합니다.
- 계층적 가지치를 적용합니다: 각 뷰 내에서 뷰 내 점수를 사용한 로컬 가지치기와, 인터뷰 및 뷰 내 점수의 융합을 이용한 모든 뷰 간의 글로벌 가지치를 수행합니다.
- 최종 토큰 중요도는 S_final^{v,n} = S_inter^{v} * S_intra^{v,n}으로 계산하고 글로벌 순위에 따라 가지치기를 수행합니다.
- 오프라인 시스템(LLM 기반, 경계 상자, 수동 등)을 통해 인터뷰 간 및 뷰 간 중요도를 실제로 주석하고, VLA 포스트 트레이닝 중 보조 손실로 예측기를 학습합니다.
- KV 캐시를 유지하고 속도를 높이기 위해 LLM 백본으로 들어가기 전(또는 RDT의 특정 계층에서) 토큰을 가지치합니다.
- 인접 토큰 간에 뷰 내 중요도를 부드럽게 만들기 위해 공간적 적응 가중치를 활용합니다.
실험 결과
연구 질문
- RQ1인터뷰 간 토큰 중요도와 뷰 내 토큰 중요도를 어떻게 추정하고 이를 사용해 토큰을 가지치되性能을 떨어뜨리지 않게 할 수 있을까?
- RQ2계층적이고 작업에 특화된 동적 토큰 가지치기가 시뮬레이션 및 실제 작업에서 다중 뷰 VLA 모델의 속도와 조작 성공률을 향상시키는가?
- RQ3제안된 BFA++ 프레임워크가 RoboTwin 설정의 다양한 VLA 백본(pi0, RDT)과 작업에 일반화될 수 있는가?
- RQ4가지치 비율과 가지치 일정이 추론 속도와 작업 성공에 미치는 영향은 어떠한가?
주요 결과
- BFA++는 pi0 및 RDT 기준선에서 약 1.5배에서 1.8배의 속도 향상과 약 10%의 성공률 향상을 제공합니다.
- 인터뷰 및 뷰 내 예측기가 백본과 함께 학습되어 조작 작업에 어느 뷰를, 어느 토큰이 중요한지를 효과적으로 식별합니다.
- 계층적 가지치는 중요한 손목 뷰 정보의 손실을 방지하고 동적 조작 단계에서도 견고한 성능을 유지합니다.
- 시각화 분석(t-SNE, Grad-CAM)은 가지치기 후 토큰 중복이 감소하고 그리퍼 및 인터랙티브한 객체에 주의가 더 집중됨을 보여줍니다.
- Abation 연구는 두 예측기와 계층적 가지치기 스키마의 필요성을 확인하고 합리적인 범위 내 가지치 매개변수에 대해 강인성을 보여줍니다.
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.