[논문 리뷰] On the Complexity of Exploration in Goal-Driven Navigation

Maruan Al-Shedivat, Lisa Lee외 2명|arXiv (Cornell University)|2018. 11. 16.

Optimization and Search Problems참고 문헌 11인용 수 7

한 줄 요약

이 논문은 목표 지향 탐색 복잡도를 연구하기 위해 EscapeRoom 환경을 도입하며, 목표 의존성 그래프 기반의 히팅 타임 지표를 제안하여 탐색 난이도를 분석적으로 측정한다. 높은 히팅 타임이 비계층 강화학습에서 열악한 성능과 관련이 있음을 입증하고, 계층적 PPO(HiPPO)가 복잡한 다중보조목표 작업에서 평판 기반 보다 뚜렷이 뛰어나다는 것을 보여준다.

ABSTRACT

Building agents that can explore their environments intelligently is a challenging open problem. In this paper, we make a step towards understanding how a hierarchical design of the agent's policy can affect its exploration capabilities. First, we design EscapeRoom environments, where the agent must figure out how to navigate to the exit by accomplishing a number of intermediate tasks (\emph{subgoals}), such as finding keys or opening doors. Our environments are procedurally generated and vary in complexity, which can be controlled by the number of subgoals and relationships between them. Next, we propose to measure the complexity of each environment by constructing dependency graphs between the goals and analytically computing \emph{hitting times} of a random walk in the graph. We empirically evaluate Proximal Policy Optimization (PPO) with sparse and shaped rewards, a variation of policy sketches, and a hierarchical version of PPO (called HiPPO) akin to h-DQN. We show that analytically estimated \emph{hitting time} in goal dependency graphs is an informative metric of the environment complexity. We conjecture that the result should hold for environments other than navigation. Finally, we show that solving environments beyond certain level of complexity requires hierarchical approaches.

연구 동기 및 목표

• 다중 의존성 보조목표를 가진 목표 지향 탐색 작업에서 탐색의 복잡도를 이해하고 측정하기 위해.
• 계층 정책 설계가 이러한 환경에서 탐색 및 학습 성능에 미치는 영향을 평가하기 위해.
• 목표 의존성에 기반한 환경 복잡도에 대한 공식적이고 분석적으로 계산 가능한 지표를 개발하기 위해.
• 이 복잡도 지표가 딥 강화학습 설정에서 학습 난이도를 예측할 수 있는지 테스트하기 위해.
• 고도의 탐색 복잡도를 가진 환경를 해결하기 위해 계층적 접근이 얼마나 필수적인지 조사하기 위해.

제안 방법

• 구성 가능한 보조목표 의존성 구조를 가진 프로시저적으로 생성된 격자 기반 환경인 EscapeRooms를 설계한다.
• 노드가 보조목표를 나타내고 간선이 그들 사이의 필수 전이를 나타내는 목표 의존성 그래프를 구성한다.
• 그래프의 랜덤 워크에 대한 기대 히팅 타임을 계산하기 위해 그래프 라플라시안을 포함하는 선형 시스템을 사용한다: $ Lx = b $, 여기서 $ x_t = 0 $, $ b_s = 1 $, $ b_t = -1 $, 그리고 $ k \notin \{s,t\} $ 인 경우 $ b_k = 0 $.
• 희소 보상, 보상 형상화(PPO+Bonus), 정책 스케치(PPO+Sketch), 계층적 변형(HiPPO)을 포함한 프록시미티 정책 최적화(PPO)를 평가에 사용한다.
• 목표 의존성 그래프의 깊이와 폭이 다양한 7개 환경에서 성능을 경험적으로 평가한다.
• 분석적으로 계산된 히팅 타임과 성공률, 에피소드 길이와 같은 경험적 강화학습 성능 지표 간의 상관관계를 분석한다.

실험 결과

연구 질문

• RQ1 탐색 작업에서 목표 의존성의 구조가 탐색 복잡도에 어떤 영향을 미치는가?
• RQ2 목표 의존성 그래프에서의 히팅 타임이 강화학습에서 환경 복잡도의 신뢰할 수 있는 분석적 측정치로 기능할 수 있는가?
• RQ3 계층 정책은 복잡한 다중보조목표 탐색 작업에서 평판 정책보다 어떻게 비교되는가?
• RQ4 내재 보상 형상화 또는 정책 스케치는 이러한 작업에서 비계층 에이전트의 학습을 향상시키는가?
• RQ5 분석적으로 계산된 히팅 타임과 다양한 환경에서의 경험적 강화학습 성능 간의 상관관계는 어느 정도인가?

주요 결과

• 목표 의존성 그래프에서 분석적으로 계산된 히팅 타임은 경험적 강화학습 성능과 강하게 상관되며, 이는 유용한 복잡도 지표로 검증된다.
• 히팅 타임이 각각 86.1과 82.5로 가장 높은 환경 (f)와 (g)는 가장 도전적인 것으로 나타났으며, HiPPO는 각각 11.2%와 19.0%의 성공률을 기록했고, 평판 PPO 방법은 완전히 실패했다.
• HiPPO는 가장 높은 성공률(환경 (a)에서 74.9%, (b)에서 57.0%, (g)에서 19.0%)과 가장 짧은 평균 에피소드 길이(환경 (a)에서 최대 길이의 48.2%, (g)에서 93.8%)를 기록하여 뛰어난 샘플 효율성과 학습 능력을 입증했다.
• 희소 보상이 적용된 PPO가 PPO+Bonus보다 성능이 뛰어나, 중간 목표에 대한 내재 보상 보너스가 평판 정책에서는 도움이 되지 않으며 오히려 학습을 방해할 수 있음을 시사한다.
• PPO+Sketch는 표준 PPO보다 성능이 열 劣하였으며, 적절한 계층적 구조 없이 보조목표에 조건을 걸 경우 오히려 역효과를 낼 수 있음을 보여준다.
• 히팅 타임과 HiPPO의 성공률 및 에피소드 길이 간의 상관관계(그림 3)는 히팅 타임이 강화학습에서 환경 난이도를 의미 있는 예측자로 기능한다는 것을 확인한다.