[논문 리뷰] Long-Horizon Visual Planning with Goal-Conditioned Hierarchical Predictors

Karl Pertsch, Oleh Rybkin외 4명|arXiv (Cornell University)|2020. 06. 23.

Multimodal Machine Learning Applications참고 문헌 69인용 수 27

한 줄 요약

이 논문은 장기 시계열 시각 계획에 적합한 목표 조건형 계층 예측기(GCPs)를 제안하며, 목표에 조건화된 다단계 시간 척도에서 예측을 반복적으로 정밀화함으로써 효율적이고 굵기에서 세밀한 궤적 예측을 가능하게 한다. 이 방법은 장기 시계열 시각 탐색 작업에서 최신 기술 수준의 성능을 달성하여 이전 방법들에 비해 계획 효율성과 시퀀스 길이 확장성에서 뚜렷한 우월성을 보이며, 무작위 탐색 데이터로부터 유래한 500단계의 영상 시퀀스에서도 성공적으로 실행된다.

ABSTRACT

The ability to predict and plan into the future is fundamental for agents acting in the world. To reach a faraway goal, we predict trajectories at multiple timescales, first devising a coarse plan towards the goal and then gradually filling in details. In contrast, current learning approaches for visual prediction and planning fail on long-horizon tasks as they generate predictions (1) without considering goal information, and (2) at the finest temporal resolution, one step at a time. In this work we propose a framework for visual prediction and planning that is able to overcome both of these limitations. First, we formulate the problem of predicting towards a goal and propose the corresponding class of latent space goal-conditioned predictors (GCPs). GCPs significantly improve planning efficiency by constraining the search space to only those trajectories that reach the goal. Further, we show how GCPs can be naturally formulated as hierarchical models that, given two observations, predict an observation between them, and by recursively subdividing each part of the trajectory generate complete sequences. This divide-and-conquer strategy is effective at long-term prediction, and enables us to design an effective hierarchical planning algorithm that optimizes trajectories in a coarse-to-fine manner. We show that by using both goal-conditioning and hierarchical prediction, GCPs enable us to solve visual planning tasks with much longer horizon than previously possible.

연구 동기 및 목표

• 현재 시각 계획 방법이 장기 시계열 작업에서 겪는 확장성 한계를 해결하기 위해.
• 예측을 목표에 조건화시켜 가능한 궤적의 탐색 공간을 줄이기 위해.
• 일괄적으로 한 단계씩 생성하는 것 대신 계층적이고 다단계 예측을 통해 장기 예측 정확도를 향상시키기 위해.
• 목표 조건형 및 계층적 모델링을 활용하여 열악한 또는 무작위 학습 데이터에서도 효과적인 계획을 가능하게 하기 위해.
• 확률적 동적 시간 왜곡 공식을 통해 장기 시계열 작업에서의 탄력적인 시간 구조를 모델링하기 위해.

제안 방법

• 초기 상태와 목표 상태에 조건화된 잠재 공간 목표 조건형 예측기(GCPs)를 제안하며, 이는 목표 도달 궤적에만 국한된 탐색 공간을 줄인다.
• 두 관측치 사이의 중간 상태를 예측하는 단일 모듈이 반복적으로 궤적을 더 세밀한 세그먼트로 분할하는 계층적 예측 프레임워크를 설계한다.
• 계층적 예측을 통해 거칠기에서 세밀한 계획과 수준 간 병렬 처리를 가능하게 하는 트리 구조의 재귀적 예측 메커니즘을 도입한다.
• 다양한 하위작업 지속 시간을 수용할 수 있도록 중간 예측의 유연한 배치를 허용하는 확률적 동적 시간 왜곡 공식을 제안한다.
• 전진-역행 반복 관계를 통해 2차 시간 복잡도로 예상 복원 손실을 계산하는 미분 가능 정렬 메커니즘을 사용한다.
• 변동성 재가중 기법을 디코딩 헤드에 적용하여 블로킹 프레임을 식별하고, 더 높은 수준의 노드가 예측이 쉬운 프레임에 집중하도록 유도한다.

실험 결과

연구 질문

• RQ1 목표 조건형 예측은 장기 시계열 시각 계획에서 탐색 공간을 크게 줄일 수 있는가?
• RQ2 자기상관 일괄 예측 대비 계층적이고 굵기에서 세밀한 예측은 장기 시각 시퀀스 생성에 있어 성능을 향상시키는가?
• RQ3 학습 데이터가 열악하거나 무작위 탐색 데이터일 경우에도 모델이 장기 시계열 작업으로 일반화할 수 있는가?
• RQ4 동적 시간 왜곡 통합이 장기 시계열 시퀀스에서 다양한 지속 시간을 가진 하위작업의 모델링에 어떻게 기여하는가?
• RQ5 계층적 구조는 얼마나 효율적인 병렬 처리와 실행 시간 복잡도 감소를 가능하게 하는가?

주요 결과

• GCP-Tree 방법은 무작위 탐색 데이터에서 평균 궤적 길이가 42.6으로, 학습 데이터의 62.6보다 훨씬 짧은 것으로 나타나 계획 성능 향상이 효과적으로 이루어졌음을 시사한다.
• 모델은 무작위 탐색 데이터만을 사용하여 9방실 환경에서 탐색 작업을 성공적으로 계획하고 실행하며, 저품질 데이터에 대한 강건성을 입증한다.
• 계층적 구조 덕분에 각 수준에서 독립적인 브랜치를 병렬 처리함으로써 실행 시간 복잡도를 O(T)에서 O(log T)로 감소시킨다.
• 이 방법은 500단계의 영상 시퀀스로까지 확장되어 이전의 시각 계획 방법이 도달하지 못한 장기 시계열 계획을 가능하게 한다.
• 디코딩 헤드에 적용된 변동성 재가중 기법은 블로킹 프레임을 성공적으로 식별하여 예측 가능한 세그먼트에 모델의 집중을 향상시켰다.
• 제안된 프레임워크는 장기 시계열 시각 탐색 작업에서 순차적 기준 모델 대비 계획 효율성과 궤적 품질 모두에서 뛰어난 성능을 보였다.