[논문 리뷰] Regression Planning Networks

Danfei Xu, Roberto Martín-Martín외 4명|arXiv (Cornell University)|2019. 09. 28.

Human Pose and Action Recognition인용 수 9

한 줄 요약

이 논문은 시각적 관측치에 기반하여 기호적 작업 목표에서 역행적으로 계획을 수행하는 신경망 아키텍처인 회귀 계획 네트워크(RPN)를 소개한다. 이는 고차원적 시각 입력에서부터 중간 기호적 목표의 시퀀스를 생성한다. 역행적 기호 계획과 끝에서 끝까지 학습하는 방식을 결합함으로써, RPN은 장기 계획 과제에서 거의 최적의 성능을 달성하고, 그리드 월드 및 3D 주방 환경에서 훈련 중에 볼 수 없었던 새로운 작업 조합에 대해 제로샷 일반화를 달성한다.

ABSTRACT

Recent learning-to-plan methods have shown promising results on planning directly from observation space. Yet, their ability to plan for long-horizon tasks is limited by the accuracy of the prediction model. On the other hand, classical symbolic planners show remarkable capabilities in solving long-horizon tasks, but they require predefined symbolic rules and symbolic states, restricting their real-world applicability. In this work, we combine the benefits of these two paradigms and propose a learning-to-plan method that can directly generate a long-term symbolic plan conditioned on high-dimensional observations. We borrow the idea of regression (backward) planning from classical planning literature and introduce Regression Planning Networks (RPN), a neural network architecture that plans backward starting at a task goal and generates a sequence of intermediate goals that reaches the current observation. We show that our model not only inherits many favorable traits from symbolic planning, e.g., the ability to solve previously unseen tasks but also can learn from visual inputs in an end-to-end manner. We evaluate the capabilities of RPN in a grid world environment and a simulated 3D kitchen environment featuring complex visual scenes and long task horizons, and show that it achieves near-optimal performance in completely new task instances.

연구 동기 및 목표

• 역동성 예측의 오차 누적 문제로 인해 장기 계획 과제에서 학습된 전방 계획 모델의 한계를 해결한다.
• 사전에 정의된 기호적 상태와 동작 모델이 필요한 전통적 기호 계획기의 실제 적용 격차를 극복한다.
• 기호적 추론을 사용하여 고차원 관측치에서 장기 계획을 엔드 투 엔드로 학습할 수 있도록 한다.
• 훈련 중에 볼 수 없었던 새로운 작업 조합(예: 새로운 수의 접시와 재료)에 대해 제로샷 일반화를 달성한다.
• 의존성 모델링을 통한 복합 계획을 통합하여 복잡한 목표를 실행 가능한 하위목표로 분해한다.

제안 방법

• 최종 기호적 목표에서 현재 관측치로 향하는 역행 계획을 수행하는 신경망 아키텍처인 RPN을 제안한다.
• 현재 시각 관측치에 조건화된 채로, 역순으로 중간 기호적 목표를 반복적으로 예측하는 전제 조건 네트워크를 사용한다.
• 기호적 하위목표 간의 복합적 관계를 모델링하기 위해 의존성 네트워크를 도입하여 복잡한 과제의 계층적 분해를 가능하게 한다.
• 관측치-목표 경로와 최종 작업 목표로 구성된 시범 데이터를 사용하여 모델을 엔드 투 엔드로 훈련한다.
• 현재 관측치에 기반하여 목표에서 현재 상태로의 단일 경로를 직접 예측함으로써, 큰 상태 공간을 탐색하는 것을 피한다.
• 기타 저수준 제어기(예: RRT 기반 계획기)를 통합하여 기호적 계획에 기반해 환경에서 하위목표를 실행한다.

실험 결과

연구 질문

• RQ1 학습 기반 계획기에서 장기 계획 과제에서 거의 최적의 성능을 달성하면서도, 볼 수 없었던 작업 조합에 대해 일반화할 수 있는가?
• RQ2 시각 관측치에 조건화된 역행 기호 계획이 정방향 계획보다 일반화성과 정확도 면에서 뛰어나게 되는가?
• RQ3 신경망이 복합적 의존성으로 복잡한 기호적 목표를 실행 가능한 하위목표로 효과적으로 분해할 수 있는가?
• RQ4 훈련 중에 볼 수 없었던 더 많은 재료나 접시를 포함한 과제에 대해 모델의 일반화 능력은 어느 정도인가?
• RQ5 각 아키텍처 구성 요소(전제 조건 네트워크, 의존성 네트워크)가 전체 계획 성능에 기여하는 정도는 어떠한가?

주요 결과

• RPN은 훈련 과제에서 98.5%의 성공률을 기록했고, 더 적은 재료(I=2, D=1)를 가진 평가 과제에서도 98.6%의 성공률을 유지하여 강력한 제로샷 일반화 능력을 입증했다.
• 최대 6개의 재료와 3개의 접시를 포함하는 더 복잡한 평가 과제에서도 RPN은 높은 성능(95.3%에서 98.4%의 성공률)을 유지하며 모든 베이스라인을 능가했다.
• E2E 베이스라인은 I=6, D=3일 때 0.0%의 성공률을 기록하여, 기호 추상화 없이 엔드 투 엔드 계획을 수행할 경우의 한계를 보여주었다.
• RP-only(회귀 계획 전용)는 볼 수 없었던 과제에서 성능이 크게 떨어졌다(예: I=4, D=3일 때 27.9%), 순수한 회귀 계획이 복합적 모델링 없이 일반화 능력을 갖추지 못함을 보여준다.
• SS-only(하위목표 분해 전용)는 평가 과제에서 RP-only보다 더 나은 성능을 보였지만 RPN에 비해 열등했으며, 시각 조건화와 함께 공동 학습이 필요하다는 점을 확인한다.
• 시각화 결과 RPN이 과일과 채소에 대해 다른 요리 순서를 올바르게 계획함(예: 프라이팬 vs. 냄비, 스토브 작동)을 통해 과제 특화 제약 조건을 정확히 처리하고 있음을 보여주었다.