[논문 리뷰] Active Perception and Representation for Robotic Manipulation

Youssef Zaky, Mandakini Paruthi외 2명|arXiv (Cornell University)|2020. 03. 15.

Robot Manipulation and Learning참고 문헌 42인용 수 4

한 줄 요약

이 논문은 눈과 손 제어를 융합하는 활성 인지 및 표현(Active Perception and Representation, APR) 프레임워크를 제안한다. 이 프레임워크는 고정된 카메라 기반의 수동적 접근 방식에 비해 성능을 향상시키기 위해 이중 정책 접근 방식을 사용한다: 최적의 시야각 선택을 위해 활성적으로 카메라를 제어하는 고정 정책과 6-DoF 조작을 위한 抓握 정책이다. 로그-극좌표 이미지 인코딩, 생성 쿼리 네트워크(Generative Query Networks, GQN)를 통한 자기지도 학습 기반 표현 학습, 희소 보상에서의 공동 정책 학습을 통합함으로써, 모델은 시뮬레이션 작업에서 수동적 고정 카메라 기반 기준 대비 8% 높은 抓握 성공률과 최소 4배 높은 샘플 효율성을 달성한다.

ABSTRACT

The vast majority of visual animals actively control their eyes, heads, and/or bodies to direct their gaze toward different parts of their environment. In contrast, recent applications of reinforcement learning in robotic manipulation employ cameras as passive sensors. These are carefully placed to view a scene from a fixed pose. Active perception allows animals to gather the most relevant information about the world and focus their computational resources where needed. It also enables them to view objects from different distances and viewpoints, providing a rich visual experience from which to learn abstract representations of the environment. Inspired by the primate visual-motor system, we present a framework that leverages the benefits of active perception to accomplish manipulation tasks. Our agent uses viewpoint changes to localize objects, to learn state representations in a self-supervised manner, and to perform goal-directed actions. We apply our model to a simulated grasping task with a 6-DoF action space. Compared to its passive, fixed-camera counterpart, the active model achieves 8% better performance in targeted grasping. Compared to vanilla deep Q-learning algorithms, our model is at least four times more sample-efficient, highlighting the benefits of both active perception and representation learning.

연구 동기 및 목표

• 로봇 조작을 위한 딥 강화학습에서 수동적 시각의 비효율성을 해결하기 위해 영양동물의 시각 체계를 모방한 활성 인지 기반 접근 방식을 도입하기 위해.
• 다양한 시야각에서의 관측을 통해 원시 시각 관측치로부터 효율적인 자기지도 학습 기반의 장면 표현을 학습하기 위해.
• 단일 보상 신호를 사용하여 고정 및 抓握 정책을 공동으로 학습함으로써 샘플 효율성과 작업 성능을 향상시키기 위해.
• 4-DoF 상단에서의 제어를 넘어서 6-DoF 조작을 효율적으로 수행할 수 있도록 확장하기 위해.
• 활성 시야각 제어와 공간에 따라 변하는 시각 샘플링이 표현 품질과 후속 정책 학습을 향상시키는지 검증하기 위해.

제안 방법

• 두 번째 6-DoF 조작기가 손목에 장착된 카메라를 제어하여 시야각을 활성적으로 이동시키고 작업에 관련된 물체에 초점을 맞춘다.
• 이미지는 영양동물의 중심시각 체계를 모방하기 위해 로그-극좌표 변환을 적용하여 중심 영역을 강조한다.
• 다중 모odal 인코더는 두 시야각의 시각적 및 운동학적 입력을 통합하여 통합된 장면 표현을 형성한다.
• 생성 쿼리 네트워크(Generative Query Networks, GQN)를 사용하여 다중 시야각 관측치로부터 분리된 저차원 장면 표현을 학습한다.
• 공동 정책 네트워크는 공유된 보상 함수를 사용하여 고정 및 抓握 행동을 동시에 학습하며, 희소 보상에서의 엔드 투 엔드 학습을 가능하게 한다.
• 모델은 단일 보상 신호를 사용하여 두 정책을 동시에 학습하며, 고정 정책이 抓握 정책이 관련 물체를 향해 이동하도록 이끈다.

실험 결과

연구 질문

• RQ1 활성 시야각 제어는 비시각적 로봇 조작에서 샘플 효율성과 성능 향상에 기여하는가?
• RQ2 활성 인지에서 유도된 자기지도 다중 시야각 표현 학습은 수동 관측에 비해 정책 학습에 어떤 영향을 미치는가?
• RQ3 통합된 정책 프레임워크를 통해 단일 보상 신호를 사용하여 고정 및 抓握 행동을 동시에 학습할 수 있는가?
• RQ4 로그-극좌표 변환을 통한 공간에 따라 변하는 시각 샘플링은 표현 품질과 작업 성능 향상에 어느 정도 영향을 미치는가?
• RQ5 6-DoF 抓握 작업에서 활성 인지 기반 접근 방식은 고정 카메라 기반 기준 대비 어떻게 비교되는가?

주요 결과

• 활성 인지 모델은 테스트 물체에서 70,000번 이내의 抓握 시도로 85%의 성공률를 기록했으며, 수동 고정 카메라 기준 대비 8% 높은 성능을 보였다.
• APR 모델은 일반적인 딥 Q-러닝 알고리즘 대비 최소 4배 높은 샘플 효율성을 보였으며, 이는 활성 인지와 표현 학습의 효과를 입증한다.
• 학습 과정에서 표현 품질이 향상되었음을 보여주며, GQN에 의해 생성된 중심 물체의 이미지가 점점 더 선명해졌고, 이는 성능 향상과 상관관계가 있었다.
• 모델은 물체의 기하학적 특성과 장면의 맥락을 기반으로 적응적으로 그립퍼의 방향을 조절하는 6-DoF 抓握 정책을 성공적으로 학습했다.
• 고정 정책은 작업에 관련된 물체를 향해 주의를 기울이는 방식으로 학습되었으며, 이는 抓握 정책의 목표를 암묵적으로 정의했다.
• 활성 인지와 자기지도 표현 학습의 조합이 샘플 효율성 향상의 주요 원동력이었으며, 둘 다 표현 학습을 사용하더라도 수동 모델보다 뛰어난 성능을 기록했다.