[논문 리뷰] Predictive Information Accelerates Learning in RL

Kuang-Huei Lee, Ian Fischer외 5명|arXiv (Cornell University)|2020. 07. 24.

Fuzzy Logic and Control Systems참고 문헌 40인용 수 24

한 줄 요약

이 논문은 연속 제어 작업에서 샘플 효율성을 향상시키기 위해 과거와 미래 관측치 간의 상호정보량인 예측 정보의 압축된 표현을 학습하는 강화학습 에이전트인 PI-SAC을 제안한다. 이는 대조적 조건부 엔트로피 볼트넥(CEB) 목적함수를 사용한다. 이 방법은 DM Control Suite에서 베이스라인들보다 샘플 효율성과 일반화 능력에서 뚜렷한 성능 향상을 보이며, 특히 원시 픽셀에서 학습할 경우 두드러진다.

ABSTRACT

The Predictive Information is the mutual information between the past and the future, I(X_past; X_future). We hypothesize that capturing the predictive information is useful in RL, since the ability to model what will happen next is necessary for success on many tasks. To test our hypothesis, we train Soft Actor-Critic (SAC) agents from pixels with an auxiliary task that learns a compressed representation of the predictive information of the RL environment dynamics using a contrastive version of the Conditional Entropy Bottleneck (CEB) objective. We refer to these as Predictive Information SAC (PI-SAC) agents. We show that PI-SAC agents can substantially improve sample efficiency over challenging baselines on tasks from the DM Control suite of continuous control environments. We evaluate PI-SAC agents by comparing against uncompressed PI-SAC agents, other compressed and uncompressed agents, and SAC agents directly trained from pixels. Our implementation is given on GitHub.

연구 동기 및 목표

• 원시 픽셀 관측치로부터 강화학습의 샘플 효율성을 향상시키기 위해 예측 정보를 명시적으로 모델링함으로써.
• 과거와 미래 간의 상호정보량인 예측 정보를 압축하는 것이 더 나은 표현 학습과 정책 성능을 이끌어내는지 조사함으로써.
• 강화학습을 위한 예측 표현 학습에서 압축과 비압축의 영향을 평가함으로써.
• 압축된 표현이 미리 보지 않은 작업에 대해 어떻게 일반화되는지 평가함으로써.
• 예측 정보 학습이 모델에 의존하지 않는 강화학습에서 훈련 안정성과 최종 성능을 향상시키는지 증명함으로써.

제안 방법

• 이 방법은 과거 관측치의 압축된 표현을 학습하여 미래 관측치에 대한 예측 능력을 극대화하기 위해 대조적 조건부 엔트로피 볼트넥(CEB) 목적함수의 변형을 사용한다.
• CEB 목적함수는 조건부 상호정보량 I(X;Z|Y)를 최소화하면서 I(Y;Z)를 극대화한다. 여기서 X는 과거, Y는 미래, Z는 학습된 표현이다.
• 진짜 사후분포 p(z|y)에 대한 변분 근사가 사용되며, 미분 가능한 훈련을 가능하게 하기 위해 역방향 인코더 b(z|y)가 사용된다.
• 예측 표현은 소프트 액터-크리틱(SAC) 에이전트의 입력으로 사용되며, 이로써 PI-SAC 프레임워크가 구성된다.
• 대조적 학습을 향상시키기 위해 훈련 중에 이미지 증강 기법이 적용된다.
• 보조 예측 목적함수는 종단간 훈련 중에 SAC 정책 및 가치 함수와 함께 공동 최적화된다.

실험 결과

연구 질문

• RQ1 예측 정보의 압축된 표현을 학습함으로써 픽셀 기반 강화학습에서 샘플 효율성이 향상되는가?
• RQ2 예측 정보의 압축이 연속 제어 작업에서 새로운 작업으로의 일반화에 어떻게 영향을 미치는가?
• RQ3 성능 향상은 예측 정보 모델링 덕분이 아니라 다른 표현 학습 목표로 인한 것일 수 있는가?
• RQ4 샘플 효율성과 최종 성능 측면에서 PI-SAC은 최신의 모델-프리 및 모델-베이스드 베이스라인들과 어떻게 비교되는가?
• RQ5 예측 정보 학습의 포함이 픽셀 기반 강화학습에서 훈련 안정성을 향상시키는가?

주요 결과

• PI-SAC는 DM Control Suite의 아홉 가지 작업에서 SAC, 드림어(Dreamer), DrQ 베이스라인들보다 샘플 효율성에서 뚜렷한 향상을 보였다.
• 압축된 PI-SAC 에이전트는 압축되지 않은 대안들보다 성능이 뛰어나, 압축이 성능 향상에 핵심적임을 입증한다.
• 제거 실험 결과 성능 향상의 주요 원인은 예측 정보 모델링과 압축임을 확인하였으며, 단순한 표현 학습 때문이 아니라는 점을 입증한다.
• PI-SAC는 새로운 작업으로의 일반화 능력이 향상되었으며, 압축된 표현이 압축되지 않은 표현보다 더 나은 제로샷 전이 성능을 달성하였다.
• 이 방법은 추가 비용 없이도 원시 픽셀에서 학습할 경우에도 훈련 안정성을 향상시키고 최종 성능을 유지함을 보였다.
• 이미지 증강은 예측 특징의 대조적 학습을 향상시켜 샘플 효율성 향상에 기여하였다.