[논문 리뷰] Vision-Based Manipulators Need to Also See from Their Hands

Kyle Hsu, Moo Jin Kim외 3명|arXiv (Cornell University)|2022. 03. 15.

Robot Manipulation and Learning인용 수 10

한 줄 요약

이 논문은 뷰 기반 로봇 조작에서 손 중심(눈-손) 카메라 시점 통합이 학습 효율성과 분포 외 일반화 능력을 크게 향상시킨다는 것을 입증한다. 이는 제3인칭 시점보다 우수한 성능을 보이며, 두 시점을 조합하고 제3인칭 스트림을 변동형 정보 복각(VIB)으로 정규화함으로써, 6개의 Meta-World 작업에서 최신 기술 수준의 일반화 성능을 달성한다. 분포 외 실패율은 단순 다시시점 학습 대비 최대 64% 감소한다.

ABSTRACT

We study how the choice of visual perspective affects learning and generalization in the context of physical manipulation from raw sensor observations. Compared with the more commonly used global third-person perspective, a hand-centric (eye-in-hand) perspective affords reduced observability, but we find that it consistently improves training efficiency and out-of-distribution generalization. These benefits hold across a variety of learning algorithms, experimental settings, and distribution shifts, and for both simulated and real robot apparatuses. However, this is only the case when hand-centric observability is sufficient; otherwise, including a third-person perspective is necessary for learning, but also harms out-of-distribution generalization. To mitigate this, we propose to regularize the third-person information stream via a variational information bottleneck. On six representative manipulation tasks with varying hand-centric observability adapted from the Meta-World benchmark, this results in a state-of-the-art reinforcement learning agent operating from both perspectives improving its out-of-distribution generalization on every task. While some practitioners have long put cameras in the hands of robots, our work systematically analyzes the benefits of doing so and provides simple and broadly applicable insights for improving end-to-end learned vision-based robotic manipulation.

연구 동기 및 목표

• 뷰 기반 로봇 조작에서 시점 선택, 특히 손 중심 시점과 제3인칭 시점 간의 영향을 학습 및 일반화에 미치는 영향을 조사하는 것.
• 손 중심 시점이 제한된 관측 가능성으로 인해 성능 향상에 실패하는 조건을 규명하는 것.
• 두 시점을 조합하면서 제3인칭 시점의 부정적 일반화 영향을 완화하는 방법을 개발하는 것.
• 아키텍처나 알고리즘의 대대적 개선 없이도 뷰 기반 강화 학습에서 분포 외 일반화 능력을 향상시키는 것.

제안 방법

• 저자는 종단 간 뷰 기반 조작 작업에서 손 중심(눈-손) 및 제3인칭 카메라 시점 간의 성능을 비교한다.
• 다중 스트림 관측 설정을 제안: 손 중심 및 제3인칭 시각 입력을 결합하고 공통 정책 네트워크를 사용한다.
• 제3인칭 스트림에 변동형 정보 복각(VIB)을 적용하여 정책에 미치는 영향을 감소시켜 부정적 일반화 영향을 최소화한다.
• 이 방법은 최신 기술 수준의 뷰 기반 RL 알고리즘인 DrQ-v2에 통합되며, VIB를 사용해 제3인칭 특징 표현을 정규화한다.
• 다양한 손 중심 관측 가능성과 여러 분포 이탈 조건에서 6개의 Meta-World 작업을 대상으로 평가한다.
• 초기화된 하이퍼파라미터는 원본 DrQ-v2 설정과 일치시키며, KL 발산 및 정규화에 특화된 VIB 전용 계수를 추가로 설정한다.

실험 결과

연구 질문

• RQ1 뷰 기반 조작에서 뷰 시점 선택, 즉 손 중심 시점과 제3인칭 시점 간의 영향이 학습 효율성과 분포 외 일반화에 어떻게 영향을 미치는가?
• RQ2 손 중심 시점이 실패하는 조건는 언제이며, 언제 제3인칭 시점이 반드시 필요할까?
• RQ3 두 시점을 조합하면 일반화 능력이 향상될 수 있으며, 만약 그렇다면 제3인칭 시점의 부정적 영향은 어떻게 완화할 수 있는가?
• RQ4 단순한 다시시점 학습에 비해 제3인칭 스트림에 VIB 정규화를 적용했을 때 일반화 능력 향상 정도는 어느 정도인가?

주요 결과

• 모의 환경에서 이민 학습, 강화 학습, 악성 이민 학습 모두에서 손 중심 시점만을 사용했을 경우, 분포 외 실패율이 92%에서 100% 감소하였다.
• 실제 로봇에서 손 중심 접근 방식은 이민 학습에서 실패율을 45% 감소시켜 실제 환경 적용 가능성을 입증하였다.
• 손 중심 관측 가능성이 부족한 경우, VIB 정규화를 적용한 두 시점 조합 방식이 6개의 Meta-World 작업에서 단순 다시시점 학습 대비 분포 외 실패율을 64% 감소시켰다.
• VIB 정규화된 에이전트는 샘플 효율성과 일반화 능력에서 손 중심 전용 및 단순 다시시점 에이전트를 모두 앞서며, 특히 분포 이탈 조건에서 뛰어난 성능을 보였다.
• Meta-World 벤치마크의 모든 6개 작업에서 최신 기술 수준의 성능을 달성했으며, 다양한 조작 기술과 관측 가능성 수준에서 일관된 향상이 관찰되었다.
• 가장 복잡한 작업에서 160만 번째 학습 스텝 이후 과적합 현상이 관찰되어 샘플 효율성과 강건성 간의 상충 관계가 있음을 시사한다.