[논문 리뷰] Model-Based Visual Planning with Self-Supervised Functional Distances

Stephen Tian, Suraj Nair외 5명|arXiv (Cornell University)|2020. 12. 30.

Artificial Intelligence in Games참고 문헌 58인용 수 17

한 줄 요약

이 논문은 오프라인, 레이블이 없는 데이터에서 동적 거리 함수와 시각적 동역학 모델을 학습하는 자기지도 학습 방법인 MBOLD을 제안한다. 짧은 수평선 계획과 학습된 Q-함수 기반 거리 측도를 조합함으로써 목표 도달 작업에서 뛰어난 성능을 달성한다. 시뮬레이션 및 실제 로봇 조작 작업(예: 물체 밀기, 서랍 열기)에서 모델 자유형 및 모델 기반 기준보다 뛰어난 성능을 보였다.

ABSTRACT

A generalist robot must be able to complete a variety of tasks in its environment. One appealing way to specify each task is in terms of a goal observation. However, learning goal-reaching policies with reinforcement learning remains a challenging problem, particularly when hand-engineered reward functions are not available. Learned dynamics models are a promising approach for learning about the environment without rewards or task-directed data, but planning to reach goals with such a model requires a notion of functional similarity between observations and goal states. We present a self-supervised method for model-based visual goal reaching, which uses both a visual dynamics model as well as a dynamical distance function learned using model-free reinforcement learning. Our approach learns entirely using offline, unlabeled data, making it practical to scale to large and diverse datasets. In our experiments, we find that our method can successfully learn models that perform a variety of tasks at test-time, moving objects amid distractors with a simulated robotic arm and even learning to open and close a drawer using a real-world robot. In comparisons, we find that this approach substantially outperforms both model-free and model-based prior methods. Videos and visualizations are available here: http://sites.google.com/berkeley.edu/mbold.

연구 동기 및 목표

• 보상 레이블 없이도 대규모이고 다양한 레이블이 없는 데이터셋에서 일반적인 로봇 학습을 가능하게 하기 위해.
• 오직 오프라인, 작업에 관계없는 데이터만 이용 가능한 상황에서 시각적 목표 향한 계획 문제를 해결하기 위해.
• 시각적 외관 뿐 아니라 功能적 유사성도 반영하는 동적 거리 함수를 학습하기 위해.
• 예측 가능한 시각적 동역학 모델과 학습된 거리 함수를 조합하여 효과적인 장수평선 계획을 수행하기 위해.
• 오직 오프라인 데이터만을 사용하여 실세계 로봇 시스템에 시각적 목표 도달을 확장하기 위해.

제안 방법

• 오프라인, 레이블이 없는 이미지 시퀀스에서 시각적 동역학 모델을 학습하여 향후 상태를 예측한다.
• 동일한 오프라인 데이터에서 Q-학습 스타일의 벨먼 업데이트를 통한 근사 동적 프ogram밍을 이용해 동적 거리 함수를 학습한다.
• 거리 함수는 최적 정책이 어떤 상태에서 목표에 도달하는 데 필요한 단계 수를 추정하며, 환경의 동역학을 통합한다.
• 동역학 모델을 이용해 단기 수평선 롤아웃을 수행하고, 학습된 거리를 전역 비용 함수로 사용하여 시각적 모델 예측 제어를 수행한다.
• 학습 중에 음성 전이 샘플링을 적용하여 복잡한 환경에서의 간섭 요소가 있는 상황에서도 거리 일반화 성능을 향상시킨다.
• 보상 신호나 인간의 지도 없이도 오프라인 데이터만을 사용하여 거리 함수를 종단 간(end-to-end)으로 학습한다.

실험 결과

연구 질문

• RQ1 로봇이 오직 오프라인, 레이블이 없는 데이터만을 사용하여 임의의 시각적 목표에 도달할 수 있는가?
• RQ2 보상 신호나 작업별 특화 지도 없이 상태 간의 기능적 유사성을 어떻게 측정할 수 있는가?
• RQ3 시각적 동역학 모델과 학습된 동적 거리 함수를 조합하면 시각 제어 작업에서 장수평선 계획 성능이 향상되는가?
• RQ4 수동적 메트릭(예: 픽셀 기반 L2 거리 또는 VAE 잠재 공간 거리)과 비교해 자기지도 거리 학습은 어떤가?
• RQ5 이 방법은 온라인 보정 없이도 실세계 로봇 조작 작업에 일반화 가능한가?

주요 결과

• 1개 물체 밀기 작업에서 MBOLD는 성공률 55.2% ± 4.3%를 기록했으며, 모델 자유형 Q-함수 기반 기준(19.2% ± 3.6%)보다 유의미하게 뛰어났다.
• 3개 물체 밀기 작업에서 MBOLD는 성공률 44.8% ± 2.9%를 달성했고, 모델 자유형 기준은 15.6% ± 3.6%였다.
• 도달 작업에서 MBOLD는 성공률 94.4% ± 3.3%를 기록했으며, 모델 자유형 기준(31.8% ± 5.2%)보다 훨씬 뛰어났다.
• Q-함수 기반 거리 측도는 모든 물체 밀기 작업에서 VAE 잠재 공간 거리 및 직접적인 시간 거리 회귀 방법보다 우월한 성능을 보였다.
• 음성 전이 샘플링은 특히 어려운 작업에서 성능 향상을 크게 이끌었으며, 로봇 팔과 같은 뚜렷한 시각적 특징에 대한 과도한 의존도를 감소시켰다.
• 이 방법은 실세계 서랍 조작 작업으로 성공적으로 전이되었으며, 동일한 벤치마크에서 Visual Foresight보다 뛰어난 성능을 보였다.