[논문 리뷰] Learning to Plan in High Dimensions via Neural Exploration-Exploitation Trees

Binghong Chen, Bo Dai외 4명|arXiv (Cornell University)|2019. 02. 28.

Robotic Path Planning Algorithms참고 문헌 52인용 수 27

한 줄 요약

이 논문은 고차원 연속 상태 및 행동 공간에서 효율적인 온라인 탐색-이용 균형을 확보하기 위해 이전 경험으로부터 일반화 가능한 계획 사전 지식을 학습하는 데 주목하는 신경망 기반 신뢰성 강화 학습 프레임워크인 Neural Exploration-Exploitation Trees (NEXT)를 제안한다. NEXT는 최신 기법들보다 유의미하게 뛰어난 샘플 효율성과 성공률을 달성하며, 복잡한 로봇 암 작업에서 최대 50배 빠른 계획 시간을 단축시키면서도 높은 성공률을 유지한다.

ABSTRACT

We propose a meta path planning algorithm named \emph{Neural Exploration-Exploitation Trees~(NEXT)} for learning from prior experience for solving new path planning problems in high dimensional continuous state and action spaces. Compared to more classical sampling-based methods like RRT, our approach achieves much better sample efficiency in high-dimensions and can benefit from prior experience of planning in similar environments. More specifically, NEXT exploits a novel neural architecture which can learn promising search directions from problem structures. The learned prior is then integrated into a UCB-type algorithm to achieve an online balance between \emph{exploration} and \emph{exploitation} when solving a new problem. We conduct thorough experiments to show that NEXT accomplishes new planning problems with more compact search trees and significantly outperforms state-of-the-art methods on several benchmarks.

연구 동기 및 목표

• 고차원 연속 경로 계획에서의 샘플 비효율성 문제를 해결하기 위해, 특히 차원의 극복 문제로 인해 기존의 샘플 기반 방법들(예: RRT)이 실패하는 경우를 대비한다.
• 이전 경험에서 공유되는 구조적 표현을 추출하여 유사한 계획 문제들 간의 메타학습을 가능하게 하여, 새로운 문제에 대한 일반화 능력과 샘플 효율성을 향상시킨다.
• 고차원 연속 상태 공간을 계획에 적합한 저차원 이산 표현으로 매핑할 수 있는 신경망 아키텍처를 설계하며, 엔드 투 엔드 학습이 가능하도록 한다.
• 학습된 사전 지식을 UCB 유형 알고리즘에 통합하여, 계획 도중 탐색과 이용을 온라인으로 적응적으로 균형 잡는다.
• 로봇 암 조작과 같은 복잡한 고차원 환경을 포함한 벤치마크에서 기존의 학습 기반 및 전통적 계획 기법들을 능가하는 성능을 확보한다.

제안 방법

• NEXT는 고차원 연속 상태 및 행동 공간을 주목 기반 신경망을 활용해 저차원 이산 표현으로 인코딩하여, 유사한 계획 문제들 간의 구조적 패턴을 포착한다.
• 네트워크는 벨먼 재귀식의 구조를 반영하는 가치 함수 및 정책을 예측하도록 엔드 투 엔드로 훈련되며, 다양한 작업 간의 일반화를 가능하게 한다.
• UCB 유형의 확장 연산자는 학습된 신경 사전 지식을 통합하여 샘플링을 이끌며, 새로운 영역 탐색과 유망한 방향 이용 간의 동적 균형을 확보한다.
• 계획기는 노드가 학습된 가치 추정치와 불확실성의 조합으로 구성된 신뢰도 보너스 메커니즘에 따라 확장되는 트리 기반 검색 구조를 사용한다.
• 이 방법은 온라인 적응을 지원한다: 이전 경험은 재학습 없이도 새로운 문제에 대해 유지되고 재사용되며, 지속적인 향상이 가능하다.
• 아키텍처는 시뮬레이션 및 실제 로봇 암 제어 작업 모두에서 평가되었으며, RRT*, BIT*, CVAE-plan, Reinforce-plan과의 비교가 이루어졌다.

실험 결과

연구 질문

• RQ1 신경망 아키텍처는 고차원 연속 공간에서 이전 경험을 기반으로 일반화 가능하고 문제의 구조를 고려한 계획 사전 지식을 학습할 수 있는가?
• RQ2 학습된 신경 사전 지식에 의해 이끌리는 새로운 계획 작업에서, 온라인 UCB 유형 알고리즘이 탐색과 이용을 효과적으로 균형 잡을 수 있는가?
• RQ3 NEXT는 고차원 경로 계획에서 최신 기술인 샘플 기반 및 학습 기반 계획 기법들보다 유의미하게 뛰어난 샘플 효율성과 성공률을 달성하는가?
• RQ4 주목 기반 신경망 아키텍처는 다양한 구조적으로 유사한 계획 문제들(예: 다양한 물체 배치가 있는 로봇 암 조작)에 대해 얼마나 잘 일반화되는가?
• RQ5 BIT*와 같은 전문가가 최적화한 기준 대비 NEXT는 경로 품질을 유지하거나 향상시키면서 계획 시간을 얼마나 줄일 수 있는가?

주요 결과

• NEXT는 1초 내에 1000개의 테스트 문제 셋에서 95%의 성공률를 달성했으며, 이는 BIT*가 50초가 걸리는 성과를 동일하게 달성한 것으로, 계획에 필요한 시간을 50배 감소시켰다.
• 2D 및 3D 격자 세계 작업에서, NEXT는 RRT* 및 BIT* 대비 평균 경로 비용을 최대 40% 감소시키고, 트리 노드 수를 최대 60% 감소시켰다.
• 절단 실험 결과, 개선된 GPPN 변형으로 주목 기반 신경망 아키텍처를 대체할 경우 성능이 유의미하게 악화되었으며, 이는 제안된 아키텍처가 고차원 환경에서 뛰어난 성능을 발휘함을 확인한다.
• 학습된 정책을 다이크스트라 히우리스틱으로 대체한 경우에도, 2D 케이스를 제외한 모든 경우에서 NEXT가 히우리스틱을 능가했으며, 이는 고차원에서 수작업 히우리스틱보다 학습된 일반화의 가치를 입증한다.
• NEXT의 UCB 기반 확장 메커니즘은 경로 비용이 낮고 수렴 속도가 빠른 것으로 나타나, 균일하거나 히우리스틱 샘플러보다 탐색-이용 균형을 더 잘 달성했다.
• 실제 로봇 암 제어 작업에서, NEXT는 충돌 없는 경로를 생성하며 높은 성공률를 보였으며, 시각화 결과는 복잡하고 혼잡한 환경에서도 최소한의 샘플링으로도 효과적으로 경로를 탐색할 수 있음을 확인했다.