[논문 리뷰] Composing Entropic Policies using Divergence Correction

Jonathan J. Hunt, André Barreto외 2명|arXiv (Cornell University)|2018. 12. 05.

Reinforcement Learning in Robotics인용 수 13

한 줄 요약

이 논문은 전이 과정에서 정책 불일치 문제를 보완하기 위해 기본 정책 간의 레니 지수 발산을 명시적으로 학습하는 방식으로 최대 엔트로피 정책을 조합하는 Divergence Correction (DC)를 제안한다. 복잡한 전이 작업에서 기존 방법들인 일반화 정책 향상(GPI)과 조합적 낙관주의(CO)보다 우수하며, 특히 기본 정책 간 갈등이 발생할 경우에도 연속 제어 환경에서 거의 최적의 성능을 회복한다. 이는 적응형 중요도 샘플링을 통해 달성된다.

ABSTRACT

Composing previously mastered skills to solve novel tasks promises dramatic improvements in the data efficiency of reinforcement learning. Here, we analyze two recent works composing behaviors represented in the form of action-value functions and show that they perform poorly in some situations. As part of this analysis, we extend an important generalization of policy improvement to the maximum entropy framework and introduce an algorithm for the practical implementation of successor features in continuous action spaces. Then we propose a novel approach which addresses the failure cases of prior work and, in principle, recovers the optimal policy during transfer. This method works by explicitly learning the (discounted, future) divergence between base policies. We study this approach in the tabular case and on non-trivial continuous control problems with compositional structure and show that it outperforms or matches existing methods across all tasks considered.

연구 동기 및 목표

• 기본 정책 간 불일치로 인해 기존 정책 조합 방법이 전이 학습에서 실패하는 문제를 해결하기 위해.
• 후속 기능과 정책 향상 기법을 최대 엔트로피 프레임워크로 확장하기 위해.
• 발산 보정을 사용하여 연속 행동 공간에서의 제로샷 전이를 위한 실용적인 알고리즘을 개발하기 위해.
• DC가 다양한 전이 작업 전반에서 최적 또는 거의 최적의 정책을 일관되게 복원할 수 있음을 입증하기 위해.
• 복잡하고 비트ivial한 제어 환경에서 기존 방법들과의 비교를 통해 DC의 성능을 평가하기 위해.

제안 방법

• 전이 과정 중 행동가치 함수를 조정하기 위해 기본 정책 간 레니 지수 발산을 기반으로 한 새로운 보정 항을 제안한다.
• 최대 엔트로피 목표로 확장된 max-ent GPI를 도입하여 정책 향상 보장을 보장한다.
• 연속 행동 공간에서 DC 및 max-ent GPI 모델을 훈련하기 위해 적응형 중요도 샘플링을 사용하는 실용적 알고리즘인 AISBP를 개발한다.
• 기본 작업과 전이 작업 간 공통된 전이 동역학을 가정하고, 보상 함수의 볼록 조합을 사용하여 새로운 전이 작업을 정의한다.
• 최대 엔트로피 프레임워크 내에서 후속 기능을 활용하여 정책 하에 기대되는 향후 상태 방문 빈도를 모델링한다.
• 완전한 발산 추정이 비용이 많이 들 경우를 대비해 효율적인 근사치를 제공하는 히우리스틱 변형인 DC-Cheap을 구현한다.

실험 결과

연구 질문

• RQ1 GPI와 CO와 같은 기존 정책 조합 방법이 전이 학습 중에 실패하는 조건은 무엇인가?
• RQ2 발산 기반 보정 항이 기본 정책 간 갈등이 발생하는 전이 작업에서 최적의 정책을 복원할 수 있는가?
• RQ3 조합적 구조를 가진 연속 제어 작업에서 DC의 성능은 CondQ와 CO와 비교해 어떻게 되는가?
• RQ4 적응형 중요도 샘플링이 고차원 행동 공간에서 DC의 효과적 훈련을 얼마나 잘 가능하게 하는가?
• RQ5 DC는 호환성 있는 정책 시나리오뿐 아니라 불일치하는 정책 상황에서도 강력한 성능을 유지하는가?

주요 결과

• 기본 정책 간 갈등이 발생하는 '도전적인' 전이 작업, 특히 8 DOF 앤티와 5 DOF 매니퓰레이터와 같은 연속 제어 환경에서 DC는 GPI, CO, CondQ를 일관되게 능가한다.
• 포인트 매스 '도전적인' 작업에서 DC는 GPI와 CO보다 더 우수한 정책을 얻으며, 궤적들이 최적의 파란 사각형으로 수렴한다.
• 히우리스틱 근사인 DC-Cheap은 대부분의 작업에서 전체 DC와 거의 동일한 성능을 보이며, 계산 비용을 줄임으로써 실용적 유용성을 입증한다.
• GPI에 의해 제약을 받는 상황에서 DC-Cheap+GPI는 포인트 매스 작업에서도 강력한 성능을 보이며, 근사 오차에 대한 강건성을 보여준다.
• 실험 결과에 따르면 CondQ는 DC보다 훈련이 더 어려우며, 훈련 중에 보상 임bedding ϕ를 추가로 관측해야 한다.
• 불일치하는 기본 정책 작업 케이스(보조 그림 9)에서 DC는 GPI와 동일한 성능을 보이며 CO보다도 뚜렷하게 뛰어나, 최적 정책을 일관되게 복원함을 입증한다.