[논문 리뷰] A Geometric Perspective on Visual Imitation Learning

Jun Jin, Laura Petrich외 2명|arXiv (Cornell University)|2020. 03. 05.

Advanced Vision and Imaging참고 문헌 40인용 수 4

한 줄 요약

이 논문은 단일 인간 시범 영상에서 전역적으로 일관된 기하적 특징 연관성을 추론함으로써, 시각적 사출 학습에 대한 기하학적 시각을 제안한다. 이는 직접적인 시각 제어기(예: 시각 기반 제어)로의 매핑을 가능하게 하며, 감독 학습이나 강화 학습 없이 다양한 환경 조건에서도 로봇으로의 일반화를 보장한다. 이는 원시 픽셀에서 최적화된 기하 기반 원소를 통해 불변성 있고 설명 가능한 작업 개념을 실현한다.

ABSTRACT

We consider the problem of visual imitation learning without human supervision (e.g. kinesthetic teaching or teleoperation), nor access to an interactive reinforcement learning (RL) training environment. We present a geometric perspective to derive solutions to this problem. Specifically, we propose VGS-IL (Visual Geometric Skill Imitation Learning), an end-to-end geometry-parameterized task concept inference method, to infer globally consistent geometric feature association rules from human demonstration video frames. We show that, instead of learning actions from image pixels, learning a geometry-parameterized task concept provides an explainable and invariant representation across demonstrator to imitator under various environmental settings. Moreover, such a task concept representation provides a direct link with geometric vision based controllers (e.g. visual servoing), allowing for efficient mapping of high-level task concepts to low-level robot actions.

연구 동기 및 목표

• 감독 학습이나 상호작용 기반 강화 학습 환경 없이 시각적 사출 학습의 과제를 해결하기 위해.
• 일반화를 향상시키기 위해 작업 개념 학습('무엇을 할 것인가')과 동작 정책 학습('어떻게 할 것인가')을 분리하기 위해.
• 시범자에서 모방자로의 설정에서 작업 개념의 기하 기반 매개변수화, 설명 가능하고 불변인 표현을 개발하기 위해.
• 별도의 정책 학습 없이도 기하 기반 시각 기반 제어기(예: 시각 기반 제어)와 직접 통합할 수 있도록 하기 위해.
• 배경, 자세, 카메라, 가림, 조도 등의 시각적 변형에 대해 일반화할 수 있도록 하기 위해.

제안 방법

• VGS-IL는 단일 인간 시범 영상의 프레임에서 전역적으로 일관된 기하적 특징 연관성을 추론하기 위해 엔드 투 엔드 최적화 프레임워크를 사용한다.
• 수작업으로 만든 특징 기술자 없이 원시 이미지 픽셀에서 기하 기반 원소(예: 점, 선, 이차곡선)의 조합 표현을 직접 최적화한다.
• 이 방법은 수작업으로 만든 특징 기술자가 아닌, 외관 변화(예: 손 또는 팔의 형태, 배경, 조도)에 대해 불변인 기하 기반 작업 개념을 학습한다.
• 유도된 기하적 연관성은 시각 기반 제어기와 직접 호환되는 제어 오차 신호를 생성한다.
• 최적화된 제어 오차 신호의 품질을 향상시키기 위해 다단계 최적화 과정을 통해 프레임워크를 훈련한다.
• 물리적 일관성과 제어 가능성 확보를 위해 3차원 컴퓨터 시각 기하학을 활용한다.

실험 결과

연구 질문

• RQ1 감독 학습이나 상호작용 기반 강화 학습 없이 단일 인간 시범 영상으로부터 전역적으로 일관된 기하 작업 개념을 유추할 수 있는가?
• RQ2 시범자에서 모방자로의 시각적 차이(예: 손의 외형, 배경, 자세)에 대해 기하 기반 매개변수화된 작업 개념을 어떻게 불변성으로 만들 수 있는가?
• RQ3 학습된 기하 표현을 시각 기반 제어기(예: 시각 기반 제어)를 통해 직접 저수준 로봇 동작으로 매핑할 수 있는가?
• RQ4 카메라 운동, 가림, 조도 변화 등의 실제 환경 변화 상황에서 이 방법의 일반화 능력은 어느 정도인가?
• RQ5 이 방법이 생성한 제어 오차 신호는 추가 정책 학습 없이도 로봇 제어에 효과적으로 사용될 수 있는가?

주요 결과

• VGS-IL는 배경과 목표 자세가 다양하게 변화하는 네 가지 작업—정렬, 삽입, 접기, 나사 조임—에 대해 학습된 기하적 특징 연관성을 성공적으로 일반화한다.
• 표 I의 정량적 점수에서 볼 수 있듯이, 두 가지 베이스라인과 비교해 VGS-IL는 기하적 특징 연관성의 선택 일관성이 가장 높다.
• 다섯 가지 환경 변화(임의의 목표, 카메라 운동, 가림, 시야각 손실, 조도 변화) 하에서 정렬 작업에서 VGS-IL는 모든 설정에서 베이스라인보다 뛰어난 성능을 보였다.
• 그림 8에서 볼 수 있듯이, VGS-IL가 생성한 제어 오차 신호는 훈련 단계가 진행됨에 따라 지속적으로 '좋은' 상태를 유지하며, 최적화 과정이 신호 품질을 향상시킨다.
• 시범자가 인간이든 로봇이든, 수작업으로 만든 특징 기술자가 아닌, 상위 순위의 기하적 특징 연관성이 일관되게 선택된다. 이는 손의 외형과 배경이 다를 경우에도 마찬가지다.
• 이 방법은 출력 오차 신호를 직접적으로 시각 기반 제어기에서 사용할 수 있게 하여, 별도의 특징 추적 또는 정책 학습이 필요 없도록 한다.