[논문 리뷰] End-to-End Affordance Learning for Robotic Manipulation

Yiran Geng, Boshi An외 4명|arXiv (Cornell University)|2022. 09. 26.

Robot Manipulation and Learning인용 수 4

한 줄 요약

이 논문은 인간이 정의한 동작 프리미티브나 별도의 데이터 수집 없이, 훈련 중 접촉 상호작용에서 직접 시각적 약속을 학습하는 엔드 투 엔드 강화학습 프레임워크를 제안한다. 접촉 빈도를 활용해 약속 맵을 예측하고, 이를 정책 학습과 보상 설계에 통합함으로써, 다섯 가지의 다양한 조작 작업(다단계 및 다중 에이전트 설정 포함)에서 최신 기술 수준의 성공률을 달성하며, 실제 환경으로의 전이 성능도 뛰어나다.

ABSTRACT

Learning to manipulate 3D objects in an interactive environment has been a challenging problem in Reinforcement Learning (RL). In particular, it is hard to train a policy that can generalize over objects with different semantic categories, diverse shape geometry and versatile functionality. Recently, the technique of visual affordance has shown great prospects in providing object-centric information priors with effective actionable semantics. As such, an effective policy can be trained to open a door by knowing how to exert force on the handle. However, to learn the affordance, it often requires human-defined action primitives, which limits the range of applicable tasks. In this study, we take advantage of visual affordance by using the contact information generated during the RL training process to predict contact maps of interest. Such contact prediction process then leads to an end-to-end affordance learning framework that can generalize over different types of manipulation tasks. Surprisingly, the effectiveness of such framework holds even under the multi-stage and the multi-agent scenarios. We tested our method on eight types of manipulation tasks. Results showed that our methods outperform baseline algorithms, including visual-based affordance methods and RL methods, by a large margin on the success rate. The demonstration can be found at https://sites.google.com/view/rlafford/.

연구 동기 및 목표

• 다양한 물체 유형, 형태, 功能을 포함한 일반화 가능한 로봇 조작 정책 학습의 과제를 해결하기 위해.
• 인간이 정의한 동작 프리미티브와 별도의 데이터 수집에 의존하는 이중 단계 약속 학습 방법의 한계를 극복하기 위해.
• 원시 강화학습 상호작용 데이터로부터 약속 표현을 엔드 투 엔드로 학습함으로써 정책의 일반화 능력과 내구성을 향상시키기 위해.
• 예를 들어, 피킹 앤 플레이스와 같은 다단계 작업 및 듀얼 암 푸시와 같은 다중 에이전트 협업과 같은 복잡한 조작 시나리오에 대해 작업 전용 애너테이션 없이 지원하기 위해.
• 디지털 트윈 설정을 활용해 실제 환경으로의 효과적인 전이를 가능하게 하기 위해.

제안 방법

• 강화학습 상호작용에서 유도된 접촉 빈도를 시각적 약속의 대체 지표로 활용하여, 정책 학습 중에 접촉 맵을 엔드 투 엔드로 학습한다.
• 예측된 약속 맵을 추가 관측값으로 통합하여 에이전트의 주의를 높은 확률의 상호작용 지점으로 유도한다.
• 약속 기반 보상 설계(최대점 보상, MPR)를 통합하여 에이전트가 최적의 상호작용 위치에 집중하도록 유도한다.
• 공유 인코더와 작업별 전용 헤드를 갖춘 다중 작업 정책 네트워크를 사용하여, 약속과 조작 정책을 함께 학습한다.
• 약속 맵에서 가장 유망한 상호작용 지점을 추출하고 감독하기 위한 최대점 관측(MPO) 메커니즘을 적용한다.
• 에이전트-물체(A2O) 및 물체-물체(O2O) 상호작용을 모두 지원하는 통합된 접촉 표현을 적용하여 더 넓은 작업 커버리지 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 인간이 정의한 프리미티브나 전용 데이터 수집 없이, 강화학습 상호작용 데이터로부터 엔드 투 엔드 방식으로 약속 표현을 효과적으로 학습할 수 있는가?
• RQ2 엔드 투 엔드 약속 학습은 피킹 앤 플레이스와 같은 다단계 및 다중 에이전트 시나리오와 같은 복잡한 조작 작업에서 성공률를 어떻게 향상시키는가?
• RQ3 핵심 구성 요소인 MPO, MPR, E2E 학습이 전체 성능과 내구성에 기여하는 정도는 어떠한가?
• RQ4 학습된 약속 표현은 새로운 물체에 대해 일반화되며, 실제 로봇 시스템으로 성공적으로 전이될 수 있는가?
• RQ5 다양한 작업에서 기존의 이중 단계 약속 및 표준 강화학습 기반 모델과 비교해 본다면, 접촉 기반 약속 학습 프레임워크는 어떻게 성능을 냈는가?

주요 결과

• 듀얼 암 푸시 작업에서 제안된 방법은 테스트 세트에서 93.8%의 성공률를 기록했으며, 다음으로 우수한 베이스라인인 MAPPO(7.8%)를 크게 앞서며, 다중 작업 강화학습 베이스라인(56.3% 테스트 성공률)을도 초월했다.
• 듀얼 암 푸시 작업에서 MPO를 제외한 아블레이션(Ours w/o MPO)은 훈련 시 96.3%, 테스트 시 100%의 성공률를 기록하여, MPO가 복잡한 다중 에이전트 환경에서 학습 안정화에 필수적임을 시사한다.
• E2E 학습을 제외한 아블레이션(Ours w/o E2E)은 훈련 시 55.9%, 테스트 시 50.0%의 성공률를 기록하여, 성능 향상에 있어 엔드 투 엔드 공동 학습이 필수적임을 입증한다.
• 닫히는 문 작업에서 이 방법은 훈련 시 83.9%, 테스트 시 78.5%의 성공률를 기록했으며, 표준 강화학습 및 Where2Act를 포함한 모든 베이스라인을 능가했다.
• MPR를 제외한 아블레이션(Ours w/o MPR)은 듀얼 암 푸시 작업에서 훈련 시 95.9%, 테스트 시 96.3%의 성공률를 기록하여, MPR는 MPO나 E2E에 비해 덜 필수적이지만 여전히 유익함을 시사한다.
• 디지털 트윈 설정을 활용해 실제 로봇 시스템으로의 전이에 성공했으며, 예상치 못한 물체에서도 성공적인 실행을 이룩하여, 이 방법의 내구성과 일반화 능력을 검증했다.