[논문 리뷰] Hindsight policy gradients

Paulo Rauber, Ummadisingu, Avinash외 2명|arXiv (Cornell University)|2017. 11. 16.

Reinforcement Learning in Robotics참고 문헌 54인용 수 25

한 줄 요약

이 논문은 후회 정책 기울기(HPG)를 소개한다. HPG는 강화학습에서 샘플 효율성을 높이기 위해 정책 기울기 에이전트가 도달한 목표(성취된 목표)의 정보를 활용해 후회 학습을 가능하게 하는 방법이다. 이는 목표를 달성하지 못했을 경우에도 학습에 활용할 수 있도록, 중요도 샘플링을 적용해 다양한 목표 기반으로 경로를 재가중한다. HPG는 희소 보상 환경에서 학습 속도를 크게 향상시키며, 표준 정책 기울기 방법을 능가하고, FetchPush와 같은 어려운 과제에서 DQN+HER와 유사하거나 이를 초월한다.

ABSTRACT

A reinforcement learning agent that needs to pursue different goals across episodes requires a goal-conditional policy. In addition to their potential to generalize desirable behavior to unseen goals, such policies may also enable higher-level planning based on subgoals. In sparse-reward environments, the capacity to exploit information about the degree to which an arbitrary goal has been achieved while another goal was intended appears crucial to enable sample efficient learning. However, reinforcement learning agents have only recently been endowed with such capacity for hindsight. In this paper, we demonstrate how hindsight can be introduced to policy gradient methods, generalizing this idea to a broad class of successful algorithms. Our experiments on a diverse selection of sparse-reward environments show that hindsight leads to a remarkable increase in sample efficiency.

연구 동기 및 목표

• 희소 보상 환경에서 에이전트가 긍정적 보상을 거의 받지 못하는 상황에서의 샘플 비효율성 문제를 해결하기 위해.
• 기존에 이 기능을 갖추지 못한 정책 기울기 방법에 후회 개념(의도한 목표가 아니더라도 성취된 목표로부터 학습하는 것)을 확장하기 위해.
• 재현 메모리가 필요 없이 다수의 목표에 대해 경험을 효율적으로 재사용할 수 있도록 이론적으로 탄탄한 중요도 샘플링 기반 방법을 개발하기 위해.
• 후회 학습이 다양한 성공적인 정책 기울기 알고리즘에 통합될 수 있음을 보여주어, 다양한 어려운 환경에서 성능 향상을 이끌어내기 위해.

제안 방법

• 중요도 샘플링을 사용해 다른 목표 기반으로 경로를 재가중하는 후회 정책 기울기 추정기 도입. 이는 의도하지 않은 목표로부터도 학습 가능하게 한다.
• 기존 정책 기울기 강화학습에서 잘 알려진 결과를 일반화하면서도 후회를 통합한 정책 기울기의 여러 형태 유도.
• 원래 의도한 목표와 다른 목표로 경로를 재평가할 때 발생하는 분포 이탈을 보정하기 위해 중요도 샘플링을 활용.
• 재현 메모리에 의존하지 않고 정책 업데이트 중에 직접 적용. 이는 후회 경험 재생 기반 접근과 대비된다.
• θ로 파arameterized된 목표 조건부 정책을 사용. 행동은 상태와 목표에 조건화되며, 후회로 재작성된 목표 기반 경로를 기반으로 θ를 기울기 계산을 통해 업데이트.
• 고차원 환경(예: Ms. Pac-Man, FetchPush)에서 활성 목표를 부분 추출하여 계산 효율성을 높이되 학습 성능에 영향을 주지 않도록 최적화.

실험 결과

연구 질문

• RQ1 기존에 성취된 목표 정보를 활용하지 못하던 정책 기울기 방법에 후회 학습을 효과적으로 통합할 수 있는가?
• RQ2 중요도 샘플링은 정책 기울기 프레임워크에서 후회 경로로부터 효율적이고 편향 없는 학습을 어떻게 가능하게 하는가?
• RQ3 표준 정책 기울기 및 DQN+HER와 비교해 후회 정책 기울기의 샘플 효율성은 희소 보상 환경에서 어떻게 영향을 미치는가?
• RQ4 HPG가 DQN+HER와 같은 최첨단 방법을 능가하거나 유사한 성능을 내는 환경는 무엇이며, 이러한 성능에 영향을 주는 요소는 무엇인가?

주요 결과

• k=8인 비트 뒤집기 환경에서 HPG와 DQN+HER는 유사한 샘플 효율성을 보였고, 표준 GCPG와 DQN은 학습에 실패했다.
• 더 복잡한 k=16 비트 뒤집기 과제에서 HPG는 DQN+HER를 略로 앞서며, GCPG와 DQN은 여전히 효과적이지 못했다.
• 빈 방 환경에서는 HPG가 가장 높은 샘플 효율성을 보였지만, 좋은 성능에 도달한 후 DQN+HER가 더 안정적인 성능을 보였다.
• 네 방 환경에서는 DQN+HER가 HPG와 GCPG를 크게 앞서며, 부분 관측 가능하고 네비게이션 중심의 환경에서는 DQN 기반 후회 방법이 더 효과적일 수 있음을 시사한다.
• Ms. Pac-Man 환경에서는 DQN+HER가 다시 한 번 모든 다른 방법을 앞섰고, HPG와 GCPG는 동일한 성능을 보였지만 샘플 효율성이 열악했다.
• FetchPush 환경에서는 HPG가 모든 베이스라인을 크게 앞서며, DQN+HER와 DQN도 학습에 실패한 것으로 나타나, HPG가 희소 보상이 있는 연속 제어 과제에서 뛰어난 성능을 보임을 시사한다.