[논문 리뷰] ROI-Driven Foveated Attention for Unified Egocentric Representations in Vision-Language-Action Systems

Xinhai Sun, Xiang Shi외 2명|arXiv (Cornell University)|2026. 03. 21.

Multimodal Machine Learning Applications인용 수 0

한 줄 요약

논문은 단일 외부 카메라를 이용한 결정적 FK-projected ROI 워크플로우를 통해 핸드 중심의 자가시점 ROI를 생성하고, 로봇 간 데이터 재사용을 가능하게 하며 Vision–Language–Action 시스템에서 센서/보정 부담을 줄인다.

ABSTRACT

The development of embodied AI systems is increasingly constrained by the availability and structure of physical interaction data. Despite recent advances in vision-language-action (VLA) models, current pipelines suffer from high data collection cost, limited cross-embodiment alignment, and poor transfer from internet-scale visual data to robot control. We propose a region-of-interest (ROI) driven engineering workflow that introduces an egocentric, geometry-grounded data representation. By projecting end-effector poses via forward kinematics (FK) into a single external camera, we derive movement-aligned hand-centric ROIs without requiring wrist-mounted cameras or multi-view systems. Unlike directly downsampling the full frame, ROI is cropped from the original image before resizing, preserving high local information density for contact-critical regions while retaining global context. We present a reproducible pipeline covering calibration, synchronization, ROI generation, deterministic boundary handling, and metadata governance. The resulting representation is embodiment-aligned and viewpoint-normalized, enabling data reuse across heterogeneous robots. We argue that egocentric ROI serves as a practical data abstraction for scalable collection and cross-embodiment learning, bridging internet-scale perception and robot-specific control.

연구 동기 및 목표

• 감소된 기하학 기반 데이터 표현을 통해 VLA 시스템의 확장 가능한 크로스-임베디먼트 학습을 촉진한다.
• 단일 외부 카메라에서 핸드 중심 ROI를 생성하는 결정적 FK-to-ROI 파이프라인을 도입한다.
• ROI 아티팩트의 재현성과 크로스 로봇 이동성을 보장하기 위한 거버넌스 스키마와 메타데이터를 제공한다.
• 실제 배치에서 데이터 수집 및 보정 부담을 낮추는 ROI 통합을 위한 엔지니어링 워크플로우를 제공한다.

제안 방법

• 버전화된 보정 매개변수를 가진 로봇 베이스, 엔드-이펙터 및 카메라 프레임을 통합 정의한다.
• 정방향 운동학으로 엔드이펙터 자세를 계산하고 보정된 내부 파라미터/외부 파라미터를 사용하여 외부 카메라에 투영한다.
• 구현체 인지(In embodiment-aware) inward-offset center를 적용한 후 자르기를 수행해 프레이임 밖 영역에 대해 제로 패딩이 있는 핸드 중심 ROI 패치를 얻는다.
• ROI를 고정된 256x256 해상도로 리사이즈하고 ROI 신뢰도 메타데이터를 첨부한다.
• ROI를 계보 및 공유를 위한 버전화 메타데이터를 포함한 거버넌스 스키마와 함께 재현 가능한 파생 산물로 취급한다.
• ViT 프레임워크에서 글로벌 토큰 스트림과 ROI 토큰 스트림을 연결하여 ROI 기반 융합 전략을 VLA 아키텍처에 설명하고, 이를 통해 조작 영역에 주의를 편향시킨다.

실험 결과

연구 질문

• RQ1 단일 외부 카메라의 FK-projected ROI가 교차 로봇 VLA 모델에 대해 비교 가능한 핸드 중심 감독을 제공할 수 있는가?
• RQ2 기하학적으로 기초한 ROI 추상화가 이질적인 로봇 간 데이터 수집 비용, 보정 부담 및 재현성에 어떤 영향을 미치는가?
• RQ3 신뢰할 수한 크로스-임베디먼트 데이터 공유와 ROI 스트림의 재생산을 가능하게 하는 거버넌스 메타데이터와 품질 검사는 무엇이 필요한가?
• RQ4 아키텍처 변경 없이 ROI를 글로벌 맥락과 언어/자각 입력과 통합하여 단일 VLA 백본에 어떻게 구현할 수 있는가?
• RQ5 이전 데이터셋을 ROI 표현으로 개조하고 구현 간 전이 강건성을 평가할 수 있는 평가 프로토콜은 무엇인가?

주요 결과

• FK-to-ROI 파이프라인은 움직임에 맞춘 핸드 중심 크롭을 결정론적 경계와 프레임 밖 영역에 대한 제로 패딩으로 생성한다.
• ROI 아티팩트는 재현 가능한 재생 및 사이트 간 거버넌스를 가능하게 하는 명시적 보정/버전 메타데이터로 정의된다.
• ROI는 국소 조작 신호를 보존하면서 글로벌 맥락을 유지하는 중심 시야 감독 채널 역할을 한다.
• ROI 기반 융합은 멀티모달 Transformer 프레임워크 내에서 조작 영역으로 주의를 편향시키되 모델 헤드를 변경하지 않는다.
• 제안된 워크플로우는 손목 카메라나 다중 시점 설정에 비해 보정 및 센서 부담을 줄이는 동시에 VLA 신호의 크로스-임베디먼트 전이를 가능하게 한다.