[논문 리뷰] Model-Based Inverse Reinforcement Learning from Visual Demonstrations

Neha Das, Sarah Bechtle외 4명|arXiv (Cornell University)|2020. 10. 18.

Reinforcement Learning in Robotics참고 문헌 27인용 수 8

한 줄 요약

이 논문은 키포인트 기반의 잠재 공간에서 사전 훈련된 시각적 동역학 모델을 사용하여 시각적 인간 시범으로부터 비용 함수를 학습하는 기울기 기반 역강화학습 프레임워크를 제안한다. 내부 정책 최적화를 통해 미분함으로써 안정적이고 샘플 효율적인 IRL을 가능하게 하여, 실제 하드웨어에서 최적 조건 하에 키포인트 추적의 평균 제곱오차가 4.26 mm로 기존 베이스라인에 비해 뛰어난 일반화 성능을 달성한다.

ABSTRACT

Scaling model-based inverse reinforcement learning (IRL) to real robotic manipulation tasks with unknown dynamics remains an open problem. The key challenges lie in learning good dynamics models, developing algorithms that scale to high-dimensional state-spaces and being able to learn from both visual and proprioceptive demonstrations. In this work, we present a gradient-based inverse reinforcement learning framework that utilizes a pre-trained visual dynamics model to learn cost functions when given only visual human demonstrations. The learned cost functions are then used to reproduce the demonstrated behavior via visual model predictive control. We evaluate our framework on hardware on two basic object manipulation tasks.

연구 동기 및 목표

• 모델 기반의 역강화학습을 실세계의 로봇 조작 작업에서 동역학이 알려지지 않은 상황에서 시각적 시범으로부터 수행할 수 있도록 하기 위해.
• 프로 prioceptive 상태 측정값이 없이 오직 시각적 시범만 제공될 때 비용 함수를 학습하는 도전 과제를 해결하기 위해.
• 외부 최적화 단계에서 수작업으로 설계된 거리 척도로 인한 불안정성을 피하기 위해, 미분 가능한 기울기 기반 IRL 알고리즘을 개발하기 위해.
• 시범에서 얻은 상대적 키포인트 궤적을 학습함으로써 다양한 시작 구성 조건 간의 일반화를 가능하게 하기 위해.
• Kuka iiwa 암을 사용하여 물체 정렬 작업을 위한 실제 로봇 하드웨어에서 접근 방식을 검증하기 위해.

제안 방법

• 자기지도 학습 기반의 키포인트 검출기가 인간 시범과 로봇 관측치에서 2차원 시각적 특징을 추출하여 장면의 저차원 잠재 표현을 가능하게 한다.
• 시각적 동역학 모델이 사전 훈련되어 시간 단계 간의 키포인트 표현 변화를 예측함으로써 잠재 공간에서 동작 시퀀스의 전방 시뮬레이션을 가능하게 한다.
• 내부 최적화 단계는 시각적 모델 예측 제어를 사용하여 비용 함수를 최소화하는 동작 시퀀스를 생성하며, 동역학 모델과 정책 최적화를 통해 역전파되는 기울기를 포함한다.
• 외부 최적화 단계는 내부 정책 최적화를 통해 미분 가능한 이중 최적화 기반 기법을 사용하여 비용 함수 파라미터를 업데이트함으로써 안정적이고 효과적인 학습을 가능하게 한다.
• 세 가지 비용 함수 아키텍처를 평가함: 단순 가중 거리, 시간에 따라 변화하는 가중치, RBF 기반 가중치로, 모두 잠재 공간 내 키포인트 위치 기반으로 정의된다.
• 프레임워크는 다양한 시작 구성 조건과 시점에 대한 강건성을 향상시키기 위해 시범을 상대 궤적 형태로 처리한다.

실험 결과

연구 질문

• RQ1 프로 prioceptive 상태 피드백 없이 순수하게 시각적 인간 시범으로부터 기울기 기반의 역강화학습 프레임워크가 효과적인 비용 함수를 학습할 수 있는가?
• RQ2 내부 정책 최적화를 통해 미분함으로써 기능 매칭 기반 베이스라인 대비 안정성과 성능 향상이 어떻게 향상되는가?
• RQ3 키포인트 기반의 잠재 공간에서 학습된 시각적 동역학 모델이 실세계 로봇 조작 작업에서 다양한 시작 위치 간의 일반화를 얼마나 잘 가능하게 하는가?
• RQ4 시간에 따라 변화하는 가중치와 RBF 기반 비용 함수는 단순 가중 거리 비용 함수에 비해 추적 정확도와 강건성 측면에서 어떻게 비교되는가?
• RQ5 오직 시각적 시범과 사전 훈련된 동역학 모델만을 사용하여 프레임워크가 실제 하드웨어에서 인간 유사 행동을 재현할 수 있는가?

주요 결과

• IRL 손실는 약 2,000개의 훈련 스텝 내에 수렴하여 비용 함수 파라미터 최적화가 효과적으로 이루어졌음을 나타낸다.
• 시간에 따라 변화하는 가중치와 RBF 기반 비용 함수는 Kuka iiwa에서 키포인트 추적의 평균 제곱오차가 4.26 mm (±1.20)로, 기본 베이스라인인 26.96 mm보다 뚜렷이 뛰어나게 성능을 발휘했다.
• RBF 기반 비용 함수는 시작 구성 조건 1에서 4.26 mm, 시작 구성 조건 2에서 4.40 mm의 최저 오차를 기록하여 초기 위치 간 강력한 일반화 성능을 입증했다.
• 시간에 따라 변화하는 비용 함수는 시작 구성 조건 1에서 6.12 mm (±0.94) 오차, 시작 구성 조건 2에서 3.53 mm (±0.21) 오차를 기록하여 단순 가중 거리 비용 함수보다 성능 향상을 보였다.
• 단순 가중 거리 비용 함수는 시작 구성 조건 1에서 40.99 mm의 높은 오차를 기록하여 복잡한 궤적에서 시간 의존성이 일반화에 매우 중요함을 시사했다.
• 오직 시각적 시범과 사전 훈련된 시각적 동역학 모델만을 사용하여 프레임워크는 실제 하드웨어에서 인간 유사 행동을 성공적으로 재현하였으며, 실세계 응용에 대한 타당성을 검증하였다.