[논문 리뷰] Act3D: 3D Feature Field Transformers for Multi-Task Robotic Manipulation

Théophile Gervet, Xian Zhou외 2명|arXiv (Cornell University)|2023. 06. 30.

Advanced Neural Network Applications인용 수 6

한 줄 요약

Act3D는 단일 RGB-D 이미지와 언어 지시어를 사용하여 다중 작업 로봇 조작을 위한 연속 해상도 3D 동작 맵을 예측하는 3D 특징 필드 트랜스포머 정책을 제안한다. 근사에서 정밀으로의 3D 점 샘플링과 상대적 위치 임베딩, 시각-언어 사전 훈련을 활용함으로써 Act3D는 RLBench에서 최고 성능을 기록하고 다양한 카메라 시점에서 강인하게 일반화되며, 시점 변화 상황에서 74.2%의 성공률을 달성하여 HiveFormer의 20.4%에 비해 뛰어난 내성성을 입증한다.

ABSTRACT

3D perceptual representations are well suited for robot manipulation as they easily encode occlusions and simplify spatial reasoning. Many manipulation tasks require high spatial precision in end-effector pose prediction, which typically demands high-resolution 3D feature grids that are computationally expensive to process. As a result, most manipulation policies operate directly in 2D, foregoing 3D inductive biases. In this paper, we introduce Act3D, a manipulation policy transformer that represents the robot's workspace using a 3D feature field with adaptive resolutions dependent on the task at hand. The model lifts 2D pre-trained features to 3D using sensed depth, and attends to them to compute features for sampled 3D points. It samples 3D point grids in a coarse to fine manner, featurizes them using relative-position attention, and selects where to focus the next round of point sampling. In this way, it efficiently computes 3D action maps of high spatial resolution. Act3D sets a new state-of-the-art in RL-Bench, an established manipulation benchmark, where it achieves 10% absolute improvement over the previous SOTA 2D multi-view policy on 74 RLBench tasks and 22% absolute improvement with 3x less compute over the previous SOTA 3D policy. We quantify the importance of relative spatial attention, large-scale vision-language pre-trained 2D backbones, and weight tying across coarse-to-fine attentions in ablative experiments. Code and videos are available on our project website: https://act3d.github.io/.

연구 동기 및 목표

• 최소한의 시연로 다양한 작업과 시점에서 일반화되는 로봇 조작 정책을 해결한다.
• 시점 변화 상황에서 실패하는 2D 다중 시점 방법의 국한된 점수 회귀 문제를 극복한다.
• 단일 RGB-D 카메라를 사용하여 복잡한 조작 작업을 위한 고정밀 연속 해상도 3D 동작 예측을 가능하게 한다.
• 3D 특징 필드 모델링과 시각-언어 정렬을 통해 제로샷 일반화와 깊이 노이즈 및 시점 이동에 대한 강인성을 향상시킨다.
• 다양한 물체 유형과 상호작용을 포함하는 언어 조건 정책을 위한 다중 작업 학습을 지원하는 통합 프레임워크를 개발한다.

제안 방법

• 각 점이 상대적 3D 위치 임베딩을 통해 접근되는 근사에서 정밀으로의 3D 점 샘플링을 통해 연속 해상도 특징 필드로 3D 장면를 표현한다.
• CLIP 사전 훈련된 ResNet50 특징을 사용하는 시각-언어 트랜스포머 기반 모델을 활용하여 자연어 지시어에 따라 동작 예측을 조건화한다.
• 근사에서 정밀으로의 샘플링 단계 간 가중치 묶음을 적용하고 국소적인 정밀한 시각적 특징에 주목함으로써 정위치 정확도를 향상시킨다.
• 공간적으로 적응형 계산을 적용하여 3D 공간에 가짜 점을 샘플링함으로써 추론 비용과 성능 사이의 동적 트레이드오프를 가능하게 한다.
• 모델을 3D 검출 출력으로서 동작을 예측하도록 훈련하여 연속 3D 특징 필드를 통해 무한 해상도를 구현함으로써 정밀한 동작 정위치를 가능하게 한다.
• 다중 시점 일致성과 무작위 자르기와 같은 데이터 증강 기법을 활용하여 강인성을 향상시키며, 요동 각도 회전과 같은 해로운 왜곡은 피한다.

Figure 1: Act3D is a language-conditioned robot action transformer that learns 3D scene feature fields of arbitrary spatial resolution via recurrent coarse-to-fine 3D point sampling and featurization using relative-position attentions. Act3D featurizes multi-view RGB images with a pre-trained 2D CLI

실험 결과

연구 질문

• RQ1 근사에서 정밀으로의 샘플링을 갖는 3D 특징 필드 트랜스포머는 2D 다중 시점 회귀 방법에 비해 시점 변화에 대해 더 뛰어난 일반화 성능을 달성할 수 있는가?
• RQ2 샘플링 단계 간 상대적 3D 위치 인코딩과 가중치 묶음은 정책 성능과 일반화에 어떤 영향을 미치는가?
• RQ3 CLIP로 사전 훈련된 2D 시각적 특징은 다중 작업 언어 조건 정책에서 제로샷 성공률을 얼마나 향상시키는가?
• RQ4 샘플된 가짜 점의 수는 추론 비용과 동작 예측 정확도 사이의 트레이드오프에 어떤 영향을 미치는가?
• RQ5 단일 3D 검출 기반 정책이 몇 개의 운동학적 시범만으로도 액체, 관절이 있는 물체, 변형 가능한 물체를 포함한 다양한 조작 작업에 일반화될 수 있는가?

주요 결과

• Act3D는 시점 변화 상황에서 74.2%의 성공률을 기록하여 HiveFormer의 20.4%에 비해 상대적 24% 감소를 보였고, HiveFormer는 77% 감소를 기록하여 더 뛰어난 내성성을 입증한다.
• 가중치 묶음을 제거하거나 상대적 3D 위치 임베딩을 제거하면 각각 17.5%와 42.7%의 성능 저하가 발생하여 이들이 일반화에 핵심적인 역할을 한다는 것을 확인한다.
• 세 단계 대신 두 단계 샘플링을 사용할 경우 4.5%의 성능 저하가 발생하여 근사에서 정밀으로의 완전한 정밀화가 필요하다는 것을 확인한다.
• 모든 단계에서 국소적인 정밀 특징 대신 전체적인 근사 특징에 주목할 경우 8.3%의 성능 저하가 발생하여 정밀 단계에서 국소적 주목의 중요성을 확인한다.
• 가짜 점 샘플링 수를 1,000에서 10,000으로 늘일 경우 성능이 4.9% 향상되며, 이는 높은 샘플링 밀도가 비용 증가에 비해 정확도 향상에 기여함을 보여준다.
• 다중 작업 설정에서 CLIP 사전 훈련된 ResNet50 특징은 ImageNet 사전 훈련된 특징보다 8.7% 높은 성공률을 기록하며, 특히 언어 지시어가 중요한 경우에 뚜렷한 향상 효과를 보인다.

Figure 2: Tasks. We conduct experiments on 92 simulated tasks in RLBench [ 16 ] (only 10 shown), and 8 real-world tasks (only 5 shown).