[논문 리뷰] Policy Evaluation Networks

Jean Harb, Tom Schaul외 2명|arXiv (Cornell University)|2020. 02. 26.

Reinforcement Learning in Robotics참고 문헌 43인용 수 14

한 줄 요약

이 논문은 정책을 압축되고 정보적인 지문으로 통합하여 새로운 환경 상호작용 없이도 예상 수익을 예측할 수 있는 미분 가능한 프레임워크인 정책 평가 네트워크(PVNs)를 소개한다. 정책-수익 쌍에 대해 PVN을 훈련하고 네트워크를 통해 제로샷 정책 그래디언트 상승을 가능하게 함으로써, 훈련 데이터에 있는 정책들보다 우월한 정책을 생성한다. 이는 정책 공간 전반에 걸쳐 효과적인 일반화를 보여준다.

ABSTRACT

Many reinforcement learning algorithms use value functions to guide the search for better policies. These methods estimate the value of a single policy while generalizing across many states. The core idea of this paper is to flip this convention and estimate the value of many policies, for a single set of states. This approach opens up the possibility of performing direct gradient ascent in policy space without seeing any new data. The main challenge for this approach is finding a way to represent complex policies that facilitates learning and generalization. To address this problem, we introduce a scalable, differentiable fingerprinting mechanism that retains essential policy information in a concise embedding. Our empirical results demonstrate that combining these three elements (learned Policy Evaluation Network, policy fingerprints, gradient ascent) can produce policies that outperform those that generated the training data, in zero-shot manner.

연구 동기 및 목표

• 훈련된 정책 외의 정책에 대해 예상 수익을 예측할 수 있도록 정책 공간에서 직접 정책 최적화를 가능하게 하기 위해.
• 복잡한 정책을 구조적 및 행동 정보를 유지하면서도 압축된, 미분 가능한 형태로 표현하는 데 도전하기 위해.
• 환경 내 롤아웃이 필요 없이 학습된 가치 함수를 기반으로 한 제로샷 정책 개선 방법을 개발하기 위해.
• 상태-행동 공간에서 정책 매개변수 공간으로의 인덕티브 바이어스를 이동시켜 강화학습의 데이터 효율성과 일반화 능력을 향상시키기 위해.

제안 방법

• 정책의 지문에서 예상 수익을 예측할 수 있도록 지도 학습을 통해 훈련된 피드포워드 신경망인 정책 평가 네트워크(PVN)를 제안한다.
• 정책 네트워크의 행동을 핵심 상태에서 저차원 임bedding으로 압축하는, 미분 가능한 지문화 메커니즘을 도입하여, 크기를 최소화하면서도 구조적 의존성을 유지한다.
• 자동 미분을 활용해 PVN을 통해 정책 매개변수에 대한 예상 수익의 그래디언트를 직접 계산함으로써, 엔드 투 엔드 정책 그래디언트 업데이트를 가능하게 한다.
• PVN을 통해 역전파를 수행함으로써 제로샷 정책 그래디언트 상승을 수행하여, 환경 상호작용 없이도 실행되지 않은 새로운 정책을 최적화할 수 있다.
• 각 정책가 지문으로 표현되고 전체 트레이젝터리 롤아웃을 통해 평가된 사전 계산된 정책-수익 쌍의 데이터셋을 사용해 PVN을 훈련한다.
• 다중층 및 선형 정책 네트워크를 지원하도록 프레임워크를 확장하여, 단순한 아키텍처를 초월한 확장성과 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 압축되고, 미분 가능한 정책 임bedding만으로도 정책 공간 전반에 걸쳐 일반화하여 예상 수익을 정확히 예측할 수 있는 신경망을 훈련시킬 수 있는가?
• RQ2 정확한 가치 예측을 위해 충분한 정보를 유지하면서도 계산 효율성이 높은 방식으로 정책을 효과적으로 지문화할 수 있는가?
• RQ3 학습 중에 관찰되지 않은 정책들에 대해 학습된 PVN을 통해 그래디언트 상승을 수행하면, 새로운 환경 상호작용 없이도 훈련된 모든 정책보다 우월한 정책을 도출할 수 있는가?
• RQ4 기존의 온폴리시 또는 오프폴리시 강화학습 방법과 비교해 이 방법이 데이터 효율성과 정책 최적화의 안정성 향상에 어느 정도 기여할 수 있는가?

주요 결과

• 제안된 정책 평가 네트워크는 정책 공간 전반에 걸쳐 일반화하여, 지문만으로도 새로운 정책의 예상 수익을 정확히 예측할 수 있다.
• 미분 가능한 지문화 메커니즘은 핵심 정책 특성을 효과적으로 포착하여, 선형 및 다중층 정책 아키텍처 전반에 걸쳐 일반화할 수 있도록 한다.
• PVN을 통해 수행된 제로샷 정책 그래디언트 상승은 훈련된 모든 정책보다 예상 수익이 높은 정책을 생성하여, 뛰어난 일반화 능력을 입증한다.
• 이 방법은 정책 최적화 과정에서 즉각적인 가치 함수 업데이트를 가능하게 하여, 일반적으로 액터-크리틱 방법에서 관찰되는 지연을 제거함으로써 데이터 효율성을 향상시킬 수 있다.