[논문 리뷰] Learning Deep Parameterized Skills from Demonstration for Re-targetable Visuomotor Control

Jonathan Chang, Nishanth Kumar외 7명|arXiv (Cornell University)|2019. 10. 23.

Advanced Vision and Imaging참고 문헌 29인용 수 5

한 줄 요약

이 논문은 단지 가능한 목표의 33퍼센트만을 사용하여 훈련한 후, 훈련 중에 사용되지 않은 목표들에 대해 제로샷 일반화를 가능하게 하는 엔드 투 엔드 딥 러닝 방법을 제안한다. 목표 매개변수에 조건을 부여하고 시각 보조 제어 아키텍처를 활용함으로써, 모델은 단지 33퍼센트의 목표들만 훈련한 후, 시뮬레이션과 실제 로봇 실험 모두에서 미리 보지 않은 목표들에 대해 90퍼센트 이상의 성공률을 달성한다.

ABSTRACT

Robots need to learn skills that can not only generalize across similar problems but also be directed to a specific goal. Previous methods either train a new skill for every different goal or do not infer the specific target in the presence of multiple goals from visual data. We introduce an end-to-end method that represents targetable visuomotor skills as a goal-parameterized neural network policy. By training on an informative subset of available goals with the associated target parameters, we are able to learn a policy that can zero-shot generalize to previously unseen goals. We evaluate our method in a representative 2D simulation of a button-grid and on both button-pressing and peg-insertion tasks on two different physical arms. We demonstrate that our model trained on 33% of the possible goals is able to generalize to more than 90% of the targets in the scene for both simulation and robot experiments. We also successfully learn a mapping from target pixel coordinates to a robot policy to complete a specified goal.

연구 동기 및 목표

• 한 번의 장면에서 여러 개의 새로운 목표로 일반화할 수 없는 기존의 시각-운동 정책의 한계를 해결한다.
• 재훈련 없이도 특정 목표로 유도될 수 있는 타겟 가능한 능력을 물리적 로봇이 학습할 수 있도록 한다.
• 훈련 목표의 일부만을 사용하여도 새로운 목표 매개변수로 제로샷 일반화가 가능한 샘플 효율적인 방법을 개발한다.
• 목표 매개변수 표현 방식이 시각적 변형에 대한 일반화 성능에 미치는 영향을 조사한다.
• 정밀한 조작(예: 펜치 삽입)을 포함한 시뮬레이션과 실제 로봇 작업에서 강건한 일반화를 입증한다.

제안 방법

• 시각 인코더, 보조 목표 자세 예측 헤드, 제어 정책 헤드로 구성된 세 모듈을 갖춘 딥 네ural 네트워크를 훈련한다.
• 목표 매개변수 벡터 τ를 조건으로 삼아 정책을 조절한다. 이는 목표를 지정한다(예: 행/열 인덱스 또는 픽셀 위치).
• 다양한 목표 매개변수를 가진 전문가 시범 데이터를 사용하여 엔드 투 엔드의 암기 학습을 수행함으로써, 단일의 재조정 가능한 정책을 훈련한다.
• RGB 및 깊이 이미지를 처리하여 목표 위치를 파악하기 위한 시각적 특징을 추출하는 시각 모듈을 통합한다.
• 보조 작업 모듈을 훈련하여, 시각적 특징과 목표 매개변수 τ로부터 최종 에이드엔드 자세를 예측하도록 한다.
• 예측된 자세와 시각적 특징을 사용하여 제어 모듈에서 제어 동작(속도 명령)을 생성한다.

실험 결과

연구 질문

• RQ1 훈련 목표의 일부만을 사용하여 훈련한 후, 단일 딥 시각-운동 정책이 이전에 보지 않은 목표 매개변수로 제로샷 일반화가 가능한가?
• RQ2 목표 매개변수 표현 방식의 선택(예: 픽셀 위치 대비 행/열 인덱스)이 시각적 변형에 대한 일반화에 어떤 영향을 미치는가?
• RQ3 추가 훈련 없이도 새로운 목표 배치(예: 이동, 뒤섞인, 뭉쳐진 단추)로 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 이 방법은 정밀 제어가 필요한 실제 로봇 작업(예: 단추 누르기, 펜치 삽입)에서 높은 성능를 달성할 수 있는가?
• RQ5 목표 표현 방식에 따라 시각적 환경 변화(예: 패널 위치 변경)가 발생할 경우 모델의 성능 저하가 발생하는가?

주요 결과

• 모델은 가능한 목표의 33퍼센트만 훈련한 후, 2D 시뮬레이션과 실제 실험 모두에서 미리 보지 않은 목표들에 대해 90퍼센트 이상의 성공률을 달성했다.
• 목표 매개변수 τ로 픽셀 좌표를 사용할 경우, 그리드 기반 배치가 아닌 시각적 환경의 극단적인 변화에도 제로샷 일반화가 가능했다. 이는 정책이 시각적 맥락과 무관하게 단순한 좌표-운동 매핑을 학습했기 때문이다.
• 행/열 인덱스를 τ로 사용할 경우, 뷰어 모듈이 버튼 패널을 국소화해야 하며, 이로 인해 이동하거나 무작위로 배치된 패널에 대해 일반화가 가능하지만, 뒤섞인 또는 뭉쳐진 배열에서는 실패했다.
• 시뮬레이션에서 9개의 가능한 버튼 위치 중 4개(50퍼센트의 데이터 감소)만 훈련한 후, 모든 9개의 버튼 위치로 일반화가 가능했으며, 이는 강력한 샘플 효율성을 보여준다.
• 전체 200개의 트레이젝터리(버튼당 50개)만으로도 시뮬레이션에서 모든 버튼 위치와 배치에 대해 완전한 일반화가 달성되었으며, 이는 이전의 더 많은 데이터를 사용한 방법과 동등하거나 이를 초월하는 성능을 보였다.
• 목표 표현 방식의 선택은 일반화에 결정적인 영향을 미쳤다: 픽셀 기반 τ는 시각적 변화에 대한 강건성을 보였고, 인덱스 기반 τ는 시각적 국소화가 필요했으며, 그리드 기반 외 배열에서는 실패했다.