[논문 리뷰] Graph-Structured Visual Imitation

Maximilian Sieb, Xian Zhou외 3명|arXiv (Cornell University)|2019. 07. 11.

Multimodal Machine Learning Applications참고 문헌 45인용 수 14

한 줄 요약

이 논문은 계층적 시각적 엔티티 그래프(VEGs)를 사용하여 물체, 부품, 점의 동적 3D 공간적 관계를 인코딩함으로써 시각적 모방을 위한 그래프 구조 시각 모방(Graph-Structured Visual Imitation)을 제안한다. 점과 물체를 위한 자기학습 기반 탐지기와 인간 손 관절 키포인트 추적을 활용함으로써, 환경에 장치를 부착하지 않은 실물 로봇에서 단일 예시만으로도 강건한 모방 학습이 가능하며, 푸시, 스택킹,倒수 등의 다양한 조작 작업에서 일반화 능력과 성공률 면에서 전체 프레임 CNN 기반 모델들을 능가한다.

ABSTRACT

We cast visual imitation as a visual correspondence problem. Our robotic agent is rewarded when its actions result in better matching of relative spatial configurations for corresponding visual entities detected in its workspace and teacher's demonstration. We build upon recent advances in Computer Vision,such as human finger keypoint detectors, object detectors trained on-the-fly with synthetic augmentations, and point detectors supervised by viewpoint changes and learn multiple visual entity detectors for each demonstration without human annotations or robot interactions. We empirically show the proposed factorized visual representations of entities and their spatial arrangements drive successful imitation of a variety of manipulation skills within minutes, using a single demonstration and without any environment instrumentation. It is robust to background clutter and can effectively generalize across environment variations between demonstrator and imitator, greatly outperforming unstructured non-factorized full-frame CNN encodings of previous works.

연구 동기 및 목표

• 인간 레이블 데이터나 로봇 상호작용 없이도 인간-annotated 데이터 없이도 단일 예시 기반의 시각적 모방을 가능하게 하기.
• 시각적 장면에서 '무엇'과 '어디'를 분리함으로써 물체 기하학, 시점, 배경 혼잡도에 대한 일반화 능력을 향상시키기.
• 모의자와 모방자 간의 대응 관계를 설정하기 위해 장면별로 자기학습 기반의 시각적 탐지기(물체, 점, 인간 손)를 개발하기.
• 전체 프레임 CNN 인코딩을 대체하기 위해 공간적 관계를 포괄하는 인과적 그래프 기반 표현으로 전환하여 모방 성능 향상시키기.
• 단일 예시와 최소한의 실제 세계 시도만으로도 실물 Baxter 로봇에서 성공적인 모방을 구현하기.

제안 방법

• 메서드는 노드가 지속적인 시각적 엔티티(물체, 부품, 점, 손)를 나타내고, 간선이 시간에 따라 상대적인 3D 공간 배치를 인코딩하는 시각적 엔티티 그래프(VEGs)를 구성한다.
• 시점 변화를 활용하여 자기학습 기반의 점 탐지기를 훈련하고, 물체 및 부품 탐지기는 시뮬레이션으로 증강된 예시 영상 프레임에서 훈련한다.
• 인간 손 관절 키포인트 탐지기를 사용하여 모의자의 손 궤적을 해석함으로써, 접근 및 집기 동작의 정밀한 모방을 가능하게 한다.
• 각 타임스텝에서 모의자 VEG와 모방자 VEG의 대응 노드 쌍 간의 상대적 공간 구성 일치도를 측정하여 보상 함수를 정의한다.
• 궤적 최적화를 통한 강화 학습을 사용하여 이 시각적 보상 함수를 최대화하는 정책을 학습하며, 실제 세계 상호작용이 몇 번 밖에 필요하지 않다.
• 그래프 구조는 계층적이며 운동의 주목적성에 따라 동적으로 업데이트되며, 엔티티가 움직이거나 가림을 입을 경우 간선이 추가되거나 제거된다.

실험 결과

연구 질문

• RQ1 시각적 엔티티와 그들의 공간적 관계를 분리하는 그래프 기반 시각 표현이 조작 기술의 단일 예시 기반 강건한 모방을 가능하게 할 수 있는가?
• RQ2 점, 물체, 인간 손을 위한 자기학습 기반 시각 탐지기가 인간의 레이블 없이도 모의자와 모방자 간의 신뢰할 수 있는 대응 관계를 설정할 수 있는가?
• RQ3 제안된 VEG 기반 보상 함수가 전체 프레임 CNN 인코딩보다 물체 기하학, 시점, 배경 혼잡도에 더 잘 일반화되는가?
• RQ4 단일 예시와 최소한의 실제 세계 상호작용만으로도 성공적인 모방을 달성할 수 있는가? 전문가 행동 레이블이나 로봇 예시 데이터가 필요하지 않은가?
• RQ5 정밀한 조작이 요구되는 작업에서 인간 손 관절 키포인트 추적을 포함함으로써 모방 성능이 어떻게 향상되는가?

주요 결과

• 원래 노란 팔각형 푸시 작업의 5회 시도 모두 성공했고, 더 작은 주황색 정사각형 작업의 5회 중 4회 성공하여 물체 크기와 공간 구성 변화에 강건함을 입증했다.
• 방향 전환 푸시 작업에서는 궤적 최적화 8회 반복 후 성공했고, TCN 기반 모델은 완전히 실패하여 이 메서드가 비연속적 접촉 작업을 처리할 수 있음을 보여주었다.
• 스택킹 작업에서는 노란 팔각형과 더 어려운 평평한 주황색 정사각형 모두를 집고 위치를 정확히 배치하는 것을 학습했으며, 후자의 경우에도 대부분의 시도에서 성공했다.
• 倒수 작업에서는 새로운 모양과 질감을 가진 병에 일반화되어 모든 10회 최적화 반복에서 정확한 자세로 회전 및 이동을 성공적으로 수행했다.
• TCN 기반 모델은 병을倒수에 적합한 자세로 회전시키지 못해, 구조화된 시각적 대응 없이 세밀한 회전 제어를 학습하는 데 한계를 드러냈다.
• 전체 프레임 CNN 기반 모델 대비 일반화 능력과 성공률 면에서 뛰어나며, 유사한 성능를 달성하기 위해 훨씬 적은 영상 예제가 필요했다.