[논문 리뷰] Hierarchical Foresight: Self-Supervised Learning of Long-Horizon Tasks via Visual Subgoal Generation

Suraj Nair, Chelsea Finn|arXiv (Cornell University)|2019. 09. 12.

Multimodal Machine Learning Applications인용 수 30

한 줄 요약

이 논문은 장기 예측 시각 기반 조작 작업을 분해하기 위해 의미 있는 시각적 보조목표를 생성하는 자기지도 학습 프레임워크인 계층적 시각 예측(HVF)을 제안한다. 이는 잠재공간 최적화를 통해 효율적인 계획을 가능하게 한다. HVF는 시뮬레이션에서 기준 방법 대비 최대 200% 향상된 성능을 기록하며, 보상 또는 시연 없이도 실제의 혼잡한 환경으로 일반화된다.

ABSTRACT

Video prediction models combined with planning algorithms have shown promise in enabling robots to learn to perform many vision-based tasks through only self-supervision, reaching novel goals in cluttered scenes with unseen objects. However, due to the compounding uncertainty in long horizon video prediction and poor scalability of sampling-based planning optimizers, one significant limitation of these approaches is the ability to plan over long horizons to reach distant goals. To that end, we propose a framework for subgoal generation and planning, hierarchical visual foresight (HVF), which generates subgoal images conditioned on a goal image, and uses them for planning. The subgoal images are directly optimized to decompose the task into easy to plan segments, and as a result, we observe that the method naturally identifies semantically meaningful states as subgoals. Across three out of four simulated vision-based manipulation tasks, we find that our method achieves nearly a 200% performance improvement over planning without subgoals and model-free RL approaches. Further, our experiments illustrate that our approach extends to real, cluttered visual scenes. Project page: https://sites.google.com/stanford.edu/hvf

연구 동기 및 목표

• 자신의 지도 학습만으로도 새로운 환경에서 혼잡한 장기 예측 시각 기반 조작 과제를 해결하는 데 도전한다.
• 장기 예측 및 계획에서 누적되는 불확실성과 희박한 보상 신호 문제를 해결한다.
• 시연나 조밀한 보상 없이도 새로운 물체나 목표에 일반화할 수 있도록 한다.
• 잠재공간 최적화를 통해 의미 있는 보조목표를 자동으로 발견한다.
• 장기 예측 과제를 단기 예측 하위 세그먼트로 분해하여 계획의 효율성과 성공률을 향상시킨다.

제안 방법

• 방법은 시각 관측을 저차원 잠재공간에 매핑하기 위해 변동형 오토인코더(VAE)를 사용하여 최적화를 효율적으로 수행한다.
• 보조목표는 하위세그먼트 간 최대 계획 비용을 최소화하도록 VAE의 잠재공간에서 최적화되어, 강건성을 확보한다.
• 계층적 계획 전략은 시각 모델 예측 제어(MPC)를 사용하여 초기 상태에서 보조목표로, 그리고 보조목표에서 다음 보조목표로 순차적으로 계획한다.
• 보조목표 생성은 자기지도 학습 기반이다: 보상이나 시연이 필요 없이 낮은 기대 계획 비용을 최적화한다.
• 최종 목표 이미지를 조건으로 하여 보조목표 생성을 수행함으로써 새로운 과제와 물체에 대해 제로샷 일반화가 가능하다.
• 생성 모델을 활용해 가능한 미래 상태를 탐색하고 의미 있는 중간 상태를 보조목표로 식별한다.

실험 결과

연구 질문

• RQ1 희박한 보상 신호와 높은 불확실성 하에서 보조목표 생성이 장기 예측 시각 계획에 도움이 되는가?
• RQ2 시각 공간에서 자기지도 학습 기반의 보조목표 발견이 새로운 물체와 목표에 대한 일반화를 향상시키는가?
• RQ3 VAE의 잠재공간에서 보조목표를 최적화하는 것이 픽셀 공간 계획에 비해 계획의 효율성과 성공률을 향상시키는가?
• RQ4 보조목표의 수가 성능에 미치는 영향은 무엇이며, 복잡성과 성공률 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 이 프레임워크는 튜닝 없이도 실제의 혼잡한 시각 환경으로 일반화 가능한가?

주요 결과

• 모의 미로 탐색 과제에서, HVF는 보조목표가 하나일 경우 47%의 성공률를 기록했고, 보조목표가 없을 경우 33%였으며, 이는 상대적 42% 향상이다.
• 도서관 조작 환경에서 HVF는 모델 프리 RL 및 최신 보조목표 방법보다 최소 20% 이상의 절대 성능 향상을 달성했다.
• 두 개의 보조목표를 사용할 경우, 미로 과제에서 54%의 성공률를 기록했지만, 다섯 개 이상의 보조목표에서는 검색 복잡도 증가로 인해 성능이 크게 떨어졌다.
• 하위세그먼트 간 최대 비용을 최적화 목표로 삼는 것이 평균 비용 최소화보다 성능이 뛰어나, 외부 요인에 대한 강건성이 중요하다는 것을 시사한다.
• 각 반복에서 MPC 샘플 수가 1000개여도, HVF는 보조목표가 없는 표준 시각 예측보다 성능이 뛰어나, 보조목표의 이점이 샘플링에 기인하지 않음을 보여준다.
• 실제 로봇 조작 데이터에서 HVF는 현실적이며 의미 있는 보조목표를 성공적으로 생성했으며, 실제 적용 가능성은 입증되었다.