[논문 리뷰] Sub-Goal Trees -- a Framework for Goal-Based Reinforcement Learning

Tom Jurgenson, Or Avner외 2명|arXiv (Cornell University)|2020. 02. 27.

Reinforcement Learning in Robotics참고 문헌 51인용 수 8

한 줄 요약

이 논문은 다중 목표 강화학습을 위한 새로운 프레임워크인 서브골 트리(Sub-Goal Trees, SGT)를 소개한다. SGT는 중간 단계의 서브골을 반복적으로 예측하여 궤적을 체계화함으로써 효율적인 다중 목표 계획을 가능하게 한다. 모든 쌍의 최단 경로 문제에서 유도된 동적 프ogramming 공식을 통해 연속 제어 과제에서 뛰어난 샘플 효율성과 강건성을 달성하였으며, 7-DoF 로봇 암의 신경망 운동 계획 과제에서 표준 강화학습 및 순차적 서브골 방법에 비해 뚜렷한 성능 향상을 보였다.

ABSTRACT

Many AI problems, in robotics and other domains, are goal-based, essentially seeking trajectories leading to various goal states. Reinforcement learning (RL), building on Bellman's optimality equation, naturally optimizes for a single goal, yet can be made multi-goal by augmenting the state with the goal. Instead, we propose a new RL framework, derived from a dynamic programming equation for the all pairs shortest path (APSP) problem, which naturally solves multi-goal queries. We show that this approach has computational benefits for both standard and approximate dynamic programming. Interestingly, our formulation prescribes a novel protocol for computing a trajectory: instead of predicting the next state given its predecessor, as in standard RL, a goal-conditioned trajectory is constructed by first predicting an intermediate state between start and goal, partitioning the trajectory into two. Then, recursively, predicting intermediate points on each sub-segment, until a complete trajectory is obtained. We call this trajectory structure a sub-goal tree. Building on it, we additionally extend the policy gradient methodology to recursively predict sub-goals, resulting in novel goal-based algorithms. Finally, we apply our method to neural motion planning, where we demonstrate significant improvements compared to standard RL on navigating a 7-DoF robot arm between obstacles.

연구 동기 및 목표

• 고차원적이고 연속적인 상태 공간에서 표준 강화학습의 한계를 해결하기 위해 다중 목표 궤적 최적화에 초점을 맞춘다.
• 목표 증강 상태 공간이나 반복적인 단일 목표 최적화에 의존하지 않고도 자연스럽게 다중 목표를 지원하는 프레임워크를 개발한다.
• 궤적을 반복적인 서브골 분해를 통해 구조화하여 근사 오차와 정책 이탈에 대한 민감도를 감소시킨다.
• 새로운 궤적 표현을 사용하여 계층적 목표 조건부 정책에 대한 안정적이고 확장 가능한 정책 그래디언트 학습을 가능하게 한다.
• 장애물 주변을 돌아가야 하는 7-DoF 로봇 암과 같은 복잡한 운동 계획 과제에서 성능을 향상시킨다.

제안 방법

• 모든 쌍의 최단 경로(All-Pairs Shortest Path, APSP) 문제에서 유도된 동적 프로그래밍 공식을 제안하여, 다중 목표 계획에서 표준 벨먼 최적성 방정식을 대체한다.
• 시작점에서 목표점까지의 궤적을 중간 단계의 서브골 예측을 통해 반복적으로 부분 궤적으로 분할하는 계층적 궤적 구조인 서브골 트리(Sub-Goal Trees, SGT)를 도입한다.
• 신경망을 사용하여 트리의 각 수준에서 서브골을 예측하는 정책 그래디언트 프레임워크(SGT-PG)를 개발하며, 서브골 분포를 다변량 정규분포로 출력한다.
• 하위 깊이의 정책 예측 평균을 사용하여 반복적인 기준선 추정 방법을 적용함으로써 별도의 가치 함수가 필요 없이 학습을 안정화시킨다.
• 신뢰 영역 및 엔트로피 정규화(PPO 스타일)를 적용하여 학습 안정성과 샘플 효율성을 향상시킨다.
• 서브골 분산에 대한 거리 기반 가변 스케일링 인자를 도입하여 너무 좁은 분포를 방지하고 탐색 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 궤적 구축을 위한 계층적, 분할 정복 접근 방식이 다중 목표 강화학습에서 샘플 효율성과 강건성을 향상시키는가?
• RQ2 순차적 또는 목표 증강 강화학습에 비해 반복적인 서브골 예측이 근사 오차와 정책 이탈에 대한 민감도를 감소시키는가?
• RQ3 서브골 트리 구조는 안정적인 기준선 추정을 사용하는 정책 그래디언트 방법으로 효과적으로 학습될 수 있는가?
• RQ4 복잡한 운동 계획 시나리오에서 SGT-PG는 표준 순차적 서브골 방법(SeqSG)에 비해 성능이 뛰어나게 되는가?
• RQ5 SGT의 반복적 구조가 연속 제어 과제에서 더 나은 일반화 및 확장성을 가능하게 하는가?

주요 결과

• 7개의 서브골을 사용한 폴스 시나리오에서 SGT-PG는 성공률 0.696 ± 0.116를 기록하였으며, 동일 조건에서 SeqSG는 0.49 ± 0.02로 떨어져 상당한 성능 우월성을 보였다.
• 단일 서브골 조건에서도 SGT-PG는 성공률 0.646 ± 0.053를 기록하여 SeqSG의 0.616 ± 0.013를 초월하였으며, SGT 구조의 본질적 이점이 확인되었다.
• SGT-PG는 SeqSG가 극단적인 기울기 클리핑과 낮은 신뢰 영역을 필요로 하는 것과 달리, 더 안정적인 학습을 보였고, 하이퍼파ram터 조정도 적게 필요로 하였다.
• 표준 강화학습에서 8단계로 나뉘어 있던 궤적 구축 과정이 SGT-PG에 의해 동시에 서브골을 예측함으로써 단 3단계로 단순화되어 계산 효율성이 향상되었다.
• 별도의 가치 함수가 없는 반복적 기준선 추정 방식은 SeqSG에서 학습된 가치 함수를 사용하는 것보다 더 안정적인 학습을 이끌었다.
• 거리 기반 가변 스케일링 인자를 적용함으로써 서브골의 다양성이 향상되었고, 정책 분포에서 모드 붕괴 현상이 방지되었다.