[논문 리뷰] Dynamics Learning with Cascaded Variational Inference for Multi-Step Manipulation

Kuan Fang, Yuke Zhu외 3명|arXiv (Cornell University)|2019. 10. 29.

Robot Manipulation and Learning참고 문헌 27인용 수 21

한 줄 요약

이 논문은 다단계 로봇 조작을 위한 계층적이고 분리된 표현을 학습하기 위해 계단식 변분 추론을 사용하는 Factorized Dynamics Planner (FDP)를 제안한다. 고수준 동역학(계획 수립)과 저수준 동작 샘플링을 분리함으로써 장기 계획 능력이 향상되고, Visual MPC, CVAE-SBMP, SeCTAR와 같은 베이스라인에 비해 청소, 삽입, 교차와 같은 복잡한 작업에서 뛰어난 성공률를 달성한다.

ABSTRACT

The fundamental challenge of planning for multi-step manipulation is to find effective and plausible action sequences that lead to the task goal. We present Cascaded Variational Inference (CAVIN) Planner, a model-based method that hierarchically generates plans by sampling from latent spaces. To facilitate planning over long time horizons, our method learns latent representations that decouple the prediction of high-level effects from the generation of low-level motions through cascaded variational inference. This enables us to model dynamics at two different levels of temporal resolutions for hierarchical planning. We evaluate our approach in three multi-step robotic manipulation tasks in cluttered tabletop environments given high-dimensional observations. Empirical results demonstrate that the proposed method outperforms state-of-the-art model-based methods by strategically interacting with multiple objects.

연구 동기 및 목표

• 시각적 관측에서 복잡한 다강인터랙션과 추론이 필요한 장기 계획이 요구되는 장기 계획 로봇 조작 과제를 해결하기 위해.
• 동역학과 동작의 분리된 표현을 학습하여 샘플 효율성과 계획 정확도를 향상시키기 위해.
• 고수준 동역학과 동작 샘플링을 분리한 계층적 생성 모델을 개발하여 더 나은 일반화와 제어 가능성 확보하기 위해.
• 동적 제약 조건과 희박한 보상이 존재하는 세 가지 복잡한 테이블탑 조작 과제에서 모델을 평가하기 위해.
• 가상의 정규화가 강화된 결과로서의 내구성과 제로샷 일반화 능력 향상 영향을 분석하기 위해.

제안 방법

• 고수준 동역학(계획 수립)을 위한 $c$와 저수준 동작 샘플링을 위한 $z$라는 두 개의 잠재 변수를 사용하는 계단식 변분 추론 프레임워크를 사용한다.
• 조건부 VAE를 사용하여 연합 분포 $p(s_{t+1}, a_t | s_t, c)$를 모델링함으로써 미래 상태와 동작의 분리된 생성을 가능하게 한다.
• 학습 중에 다양한 가능성이 있는 궤적을 유도함으로써 내구성을 향상시키기 위해 가상의 정규화(CFR)를 도입한다.
• 확장 가능한 추론을 위해 효율 추론을 적용한 변분 하한(ELBO)을 사용하여 모델을 종합적으로 훈련한다.
• 시각적 관측을 위한 공통 인코더를 사용하여 $c$와 $z$ 모두에 대한 특징을 추출함으로써 계획과 동작 생성 간 일관성을 확보한다.
• 동일한 잠재 코드 $c$에 따라 상태와 동작가 모두 조건화되는 자기일관성 있는 궤적 생성 과정을 적용하여 장기 계획에서의 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 종단간 베이스라인에 비해 분리된 계층적 변분 추론 모델이 다단계 조작 과제에서 장기 계획 능력을 향상시키는가?
• RQ2 가상의 정규화가 다양한 작업 구성에 대해 내구성과 일반화 능력을 향상시키는 데 어떻게 기여하는가?
• RQ3 동역학 모델링과 동작 샘플링을 분리함으로써 복잡한 다강인터랙션 환경에서 샘플 효율성과 성공률 향상이 어느 정도 이루어지는가?
• RQ4 Visual MPC, CVAE-SBMP, SeCTAR와 같은 최신 기법들과 비교했을 때 FDP 모델의 성공률와 계획 다양성은 어떠한가?
• RQ5 64차원의 잠재 공간(32개의 $c$, 32개의 $z$)은 효과적인 계획을 위해 충분한 능력을 제공하면서도 분리된 표현을 유지하는 데 적합한가?

주요 결과

• FDP 모델은 청소, 삽입, 교차 세 가지 과제에서 Visual MPC, CVAE-SBMP, SeCTAR보다 높은 성공률를 달성한다.
• 제거 실험 결과, 가상의 정규화를 제거할 경우 성능이 크게 떨어지며, 이는 내구성과 일반화 향상에 기여한다는 점을 확인한다.
• 모델은 특히 랜덤화된 다리 레이아웃을 가진 교차 과제에서 뛰어난 제로샷 일반화 능력을 보였다.
• 분리된 $c$와 $z$ 잠재 변수를 사용함으로써 다양한 초기 상태에서도 일관된 궤적 생성을 통해 더 해석 가능하고 제어 가능한 계획이 가능하다는 점이 입증되었다.
• 낮은 롤아웃 수로도 효과적인 장기 계획을 생성함으로써 높은 샘플 효율성을 유지하였다.
• 64차원 잠재 공간(32+32)을 사용한 실험 결과, 동일한 총 차원 수를 사용하는 다른 모델에 비해 성능이 유사하거나 이를 초월하며, 분리된 표현 설계의 타당성을 입증하였다.