[논문 리뷰] Sparse Graphical Memory for Robust Planning

Scott Emmons, Ajay N. Jain외 4명|arXiv (Cornell University)|2020. 03. 13.

Human Pose and Action Recognition인용 수 9

한 줄 요약

이 논문은 두 방향 일관성 목표를 통해 일관되고 목표 조건화된 상태 추상화를 학습함으로써 강력한 장기 시각 계획을 가능하게 하는 새로운 데이터 구조인 희소 그래픽 메모리(SGM)를 제안한다. SGM은 목표 상태와 시작 상태 모두에서 중복되는 상태를 융합하여 계획 효율성을 향상시키고, 희소 보상 시각 탐색 과제에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

To operate effectively in the real world, agents should be able to act from high-dimensional raw sensory input such as images and achieve diverse goals across long time-horizons. Current deep reinforcement and imitation learning methods can learn directly from high-dimensional inputs but do not scale well to long-horizon tasks. In contrast, classical graphical methods like A* search are able to solve long-horizon tasks, but assume that the state space is abstracted away from raw sensory input. Recent works have attempted to combine the strengths of deep learning and classical planning; however, dominant methods in this domain are still quite brittle and scale poorly with the size of the environment. We introduce Sparse Graphical Memory (SGM), a new data structure that stores states and feasible transitions in a sparse memory. SGM aggregates states according to a novel two-way consistency objective, adapting classic state aggregation criteria to goal-conditioned RL: two states are redundant when they are interchangeable both as goals and as starting states. Theoretically, we prove that merging nodes according to two-way consistency leads to an increase in shortest path lengths that scales only linearly with the merging threshold. Experimentally, we show that SGM significantly outperforms current state of the art methods on long horizon, sparse-reward visual navigation tasks. Project video and code are available at this https URL

연구 동기 및 목표

• 딥 러닝과 고전적 계획법을 융합함으로써 장기 시각 강화 학습의 확장성과 내구성 격차를 해소하기 위해.
• 고차원의 원시 감각 입력(예: 이미지)으로부터 효과적으로 장기간에 걸쳐 계획을 수행할 수 있도록 하기 위해.
• 기존의 딥 러닝과 고전적 계획법을 융합한 방법들이 보여주는 취약성과 낮은 확장성 문제를 해결하기 위해.
• 목표 상태로도, 시작 상태로도 일관된 상태 추상화 메커니즘을 개발하여 계획 효율성을 향상시키기 위해.
• 현재 최신 기술 수준(SOTA) 방법들보다도 더 뛰어난 성능을 장기 시각 탐색 과제에서 달성하기 위해.

제안 방법

• SGM은 상태와 실행 가능한 전이를 그래프 형태로 저장하는 희소 메모리 구조를 도입한다.
• 두 방향 일관성 목표를 사용하여, 목표 상태로도, 시작 상태로도 서로 바꿔 끼울 수 있는 중복 상태를 식별하고 융합한다.
• 고전적 상태 집합 기준을 목표 조건화 강화 학습 환경에 적응시킨다.
• 두 방향 일관성 기반으로 노드를 융합할 경우 최단 경로 길이가 융합 임계값에 따라 선형적으로만 증가함을 이론적으로 증명한다.
• 원시 시각 입력에서 파생된 추상화되고 일관된 상태 표현을 기반으로 효율적인 그래프 기반 계획을 가능하게 한다.
• 딥 러닝 모델과 통합되어 원시 관측치를 처리하고 압축된, 계획 가능한 상태 그래프를 구축한다.

실험 결과

연구 질문

• RQ1 고전적 계획 원칙을 사용하여 원시 시각 입력에서 강력한 장기 시각 계획을 가능하게 하는 데이터 구조를 설계할 수 있는가?
• RQ2 목표 조건화 강화 학습에서 상태 추상화를 목표 상태뿐 아니라 시작 상태로도 일관되게 만들 수 있는가?
• RQ3 두 방향 일관성 기반 상태 융합이 계획 경로 길이와 최적성에 미치는 이론적 영향은 무엇인가?
• RQ4 이러한 방법이 기존 최신 기술 수준(SOTA) 방법들보다 장기 시각 희소 보상 탐색 과제에서 뛰어난 성능을 내는가?
• RQ5 환경 크기와 복잡성이 증가함에 따라 이 방법은 어떻게 확장되는가?

주요 결과

• SGM는 장기 시각 희소 보상 탐색 과제에서 현재 최신 기술 수준(SOTA) 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• 두 방향 일관성 목표가 상태 중복을 효과적으로 줄이면서도 계획 가능성과 경로 품질을 유지한다.
• 이론적 분석 결과, 융합 임계값이 증가함에 따라 경로 길이가 선형적으로만 증가함을 확인하여 확장성 보장됨을 입증했다.
• 이 방법은 원시 시각 입력에서 효과적인 계획을 수행할 수 있게 하여 딥 러닝과 고전적 계획법 간 격차를 메웠다.
• 대규모 상태 공간과 희소 보상 환경에서도 이 프레임워크는 내구성과 확장성을 입증했다.
• 프로젝트 코드와 영상이 공개되어 재현성과 향후 연구를 지원한다.