[논문 리뷰] Sub-Goal Trees -- a Framework for Goal-Directed Trajectory Prediction and Optimization

Tom Jurgenson, Edward Groshev외 1명|arXiv (Cornell University)|2019. 06. 12.

Reinforcement Learning in Robotics참고 문헌 34인용 수 6

한 줄 요약

이 논문은 목표 지향적 경로를 재귀적 하위 목표 세그먼트로 분해하는 계층적 트리 기반 경로 표현인 Sub-Goal Trees를 소개한다. 동시 하위 목표 예측과 모든 쌍 간 최단 경로 문제를 위한 새로운 동적 프로그래밍 공식을 통해, 이 프레임워크는 강화학습 및 옹호 학습 모두에서 보다 빠르고 정확한 경로 예측 및 최적화를 달성하며, 정확도와 추론 속도 면에서 표준 순차적 방법을 능가한다.

ABSTRACT

Many AI problems, in robotics and other domains, are goal-directed, essentially seeking a trajectory leading to some goal state. In such problems, the way we choose to represent a trajectory underlies algorithms for trajectory prediction and optimization. Interestingly, most all prior work in imitation and reinforcement learning builds on a sequential trajectory representation -- calculating the next state in the trajectory given its predecessors. We propose a different perspective: a goal-conditioned trajectory can be represented by first selecting an intermediate state between start and goal, partitioning the trajectory into two. Then, recursively, predicting intermediate points on each sub-segment, until a complete trajectory is obtained. We call this representation a sub-goal tree, and building on it, we develop new methods for trajectory prediction, learning, and optimization. We show that in a supervised learning setting, sub-goal trees better account for trajectory variability, and can predict trajectories exponentially faster at test time by leveraging a concurrent computation. Then, for optimization, we derive a new dynamic programming equation for sub-goal trees, and use it to develop new planning and reinforcement learning algorithms. These algorithms, which are not based on the standard Bellman equation, naturally account for hierarchical sub-goal structure in a task. Empirical results on motion planning domains show that the sub-goal tree framework significantly improves both accuracy and prediction time.

연구 동기 및 목표

• 목표 지향 작업에서 순차적 경로 표현의 한계, 예를 들어 오차 누적 및 느린 추론을 해결하기 위해.
• 계층적 하위 목표 분해를 통해 다중 모odal 변화를 모델링하여 경로 예측 정확도를 향상시키기 위해.
• 기능 근사와 계층적 계획을 지원하는 하위 목표 트리 기반의 새로운 동적 프로그래밍 공식을 개발하기 위해.
• 경로 세그먼트 간 동시 하위 목표 계산을 허용함으로써 테스트 시점 예측 속도를 향상시키기 위해.
• 장수평, 목표 조건부 제어 작업에서 하위 목표 구조를 활용하여 강화학습 성능을 향상시키기 위해.

제안 방법

• 경로의 시작에서 목표까지의 경로를 재귀적으로 중간 하위 목표로 분할함으로써 경로를 하위 목표의 트리로 표현한다.
• 여러 하위 목표를 동시에 예측하는 동시 예측 메커니즘을 사용하여 테스트 시점의 순차적 단계를 줄인다.
• 하위 목표 트리 기반의 새로운 동적 프로그래밍 식을 유도하여 계층적 최적화를 가능하게 한다.
• 기능 근사(예: KNN)를 사용하여 연속 상태에 대해 옹호 학습 및 강화학습 모두에 하위 목표 트리 프레임워크를 적용한다.
• 학습된 하위 목표 트리에서 정방향 모델 또는 Q-값 컨트롤러를 사용하여 정책을 추출하고 경로 추적을 수행한다.
• 근사 동적 프로그래밍 동안 하위 목표 후보를 탐색하기 위해 이산화된 상태 격자를 사용한다.

실험 결과

연구 질문

• RQ1 계층적 트리 기반 경로 표현은 목표 지향적 경로 학습에서 예측 정확도와 속도를 향상시킬 수 있는가?
• RQ2 하위 목표 트리 기반의 동적 프로그래밍은 표준 벨먼 기반 방법과 비교해 모든 쌍 간 최단 경로 문제를 해결하는 데 어떻게 다른가?
• RQ3 하위 목표 트리는 기능 근사와 함께 장수평 계획에서 성능을 향상시킬 수 있는가?
• RQ4 동시 하위 목표 예측은 테스트 시점 경로 생성에서 지수적 속도 향상을 이끌 수 있는가?
• RQ5 하위 목표 트리는 순차적 모델보다 다중 모달 경로 변화를 더 잘 포착할 수 있는가?

주요 결과

• 옹호 학습에서 하위 목표 트리는 다중 모달 변화를 모델링함으로써 더 높은 경로 예측 정확도를 달성했으며, 테스트 시점 추론에 필요한 순차적 단계는 순차적 모델 대비 8단계에서 3단계로 줄어들었다.
• 2D 입자 운동 계획 작업에서 역모델 컨트롤러를 사용한 하위 목표 트리는 평균 목표까지의 거리가 0.13으로, 피팅된 Q-기반 기준치인 0.58보다 유의미하게 뛰어나게 성과를 냈다.
• Q-값 컨트롤러를 사용한 하위 목표 트리는 충돌률 0.06을 기록하여 역모델의 0.25보다 낮았으며, 비용 인식 정책을 사용할 경우 장애물 회피 성능이 더 뛰어났다.
• 근사된 STDP 알고리즘은 거의 모든 테스트 케이스에서 의미 있는 하위 목표를 성공적으로 계산하여 효과적인 장수평 계획을 가능하게 했다.
• 근사된 STDP를 통해 학습된 가치 함수는 하위 목표 수준이 증가할수록 목표 향한 도달 영역이 점진적으로 확장되는 경향을 보였다.
• 이 프레임워크는 기능 근사를 지원하는 첫 번째 APSP 알고리즘이며, 연속 상태 제어 문제에의 적용을 가능하게 했다.