[논문 리뷰] Information asymmetry in KL-regularized RL

Alexandre Galashov, Siddhant M. Jayakumar외 8명|arXiv (Cornell University)|2019. 05. 03.

Neural Networks and Applications인용 수 24

한 줄 요약

이 논문은 KL-정규화된 강화학습에서 정보 비대칭을 강제함으로써 학습을 가속화하고 안정화하기 위해 기본 정책을 학습하는 방법을 제안한다: 기본 정책은 에이전트 정책보다 적은 상태 정보를 볼 수 있도록 하여 재사용 가능하고 임계적인 작업에 의존하지 않는 행동 양상을 학습하도록 유도한다. 실험 결과, 연속 제어 및 이산 시각적 탐색 작업 모두에서 학습 속도 향상이 뚜렷하게 나타났으며, 특히 보상이 희박한 환경에서 두드러진 성능 향상을 보였고, 기본 정책이 최소한의 정보 집합으로 제약을 받을 때 가장 뛰어난 성능을 보였다.

ABSTRACT

Many real world tasks exhibit rich structure that is repeated across different parts of the state space or in time. In this work we study the possibility of leveraging such repeated structure to speed up and regularize learning. We start from the KL regularized expected reward objective which introduces an additional component, a default policy. Instead of relying on a fixed default policy, we learn it from data. But crucially, we restrict the amount of information the default policy receives, forcing it to learn reusable behaviors that help the policy learn faster. We formalize this strategy and discuss connections to information bottleneck approaches and to the variational EM algorithm. We present empirical results in both discrete and continuous action domains and demonstrate that, for certain tasks, learning a default policy alongside the policy can significantly speed up and improve learning.

연구 동기 및 목표

• 작업 간 반복적이고 구조화된 행동 패턴을 활용하여 강화학습의 샘플 효율성과 일반화 능력을 향상시키기 위해.
• 탐색이 어려운 환경에서 보상이 희박한 상황에서 샘플 효율성을 향상시키기 위해.
• 고정된 기본 정책이 아닌 기본 정책을 학습시키는 것이 성능 향상과 일반화에 기여하는지 탐색하기 위해.
• 에이전트 정책이 제한된 정보 접근을 가진 기본 정책을 학습함으로써 행동 패턴을 공유하도록 유도하는 방법을 체계화하기 위해.
• 에이전트 정책과 기본 정책 간의 정보 비대칭이 더 빠르고 안정적인 학습을 이끌어내는지 입증하기 위해.

제안 방법

• 고정된 사전 분포가 아닌 학습된 기본 정책을 향한 KL-정규화된 강화학습 목표를 체계화한다.
• 기본 정책의 일부 상태 성분에 대한 액세스를 제한하여 정보 비대칭을 도입함으로써, 에이전트의 행동을 그대로 복제하는 것을 방지한다.
• 기본 정책과 에이전트 정책을 함께 최적화하는 공동 목적 함수를 사용하여 동시에 훈련하며, 기본 정책은 상태 역사를 부분적으로만 조건으로 사용한다.
• 기본 정책에 대해 다양한 아키텍처를 사용한다: 전방향 신경망(현재 상태와 이전 동작만 사용), LSTM(이전 동작만 사용), 벡터(상태 및 동작에 독립적)로 일반화 능력을 테스트한다.
• 이 방법을 연속 제어(예: 복잡한 움직임 장치) 및 이산 시각적 탐색(DMLab 등) 환경에 적용한다.
• 에이전트 정책의 탐색 역할을 분석하기 위해 엔트로피 및 행동 확률의 마진 분석을 사용하여 학습된 기본 정책의 성격을 해석한다.

실험 결과

연구 질문

• RQ1 고정된 사전 분포 대신 기본 정책을 학습시키는 것이 강화학습의 샘플 효율성 향상에 기여하는가?
• RQ2 에이전트와 기본 정책 간의 정보 비대칭을 강제하면 일반화 능력 향상과 더 빠른 학습이 이루어지는가?
• RQ3 제약 조건이 가해진 기본 정책이 어떤 행동을 학습하며, 복잡한 환경에서 탐색을 어떻게 지원하는가?
• RQ4 표준 엔트로피 정규화된 강화학습에 균일한 기본 정책을 사용한 경우와 비교해 본 방법의 성능은 어떠한가?
• RQ5 학습된 기본 정책은 다양한 작업 간에 재사용되어 학습 속도 향상에 기여할 수 있는가?

주요 결과

• 복잡한 움직이기 장치를 사용하는 보상이 희박한 연속 제어 작업에서, 정보 비대칭을 가진 기본 정책을 학습시킨 결과, 균일한 기본 정책을 사용하는 기준선 대비 뚜렷한 학습 속도 향상이 나타났다.
• 상태 및 동작에 독립적인 벡터 기본 정책는 전진 방향에 대한 편향(70% 전진, 10% 후진)을 학습하여 DMLab에서 탐색 성능을 향상시켰다.
• 이전 동작만 관찰하는 LSTM 기본 정책는 일관된 이동 패턴(예: 계속 전진)을 예측하는 방식으로 벽을 따라 가는 탐색 전략을 지원하는 데 기여했다.
• 기본 정책의 엔트로피는 훈련 과정에서 감소하여, 균일한 기준선과는 달리 날카롭게 뾰족해지고 명확한 구조를 가지게 되었음을 나타내어 효과적인 구조 학습이 이루어졌음을 보여주었다.
• 밀도 높은 보상 또는 단순한 작업에서는 성능 향상이 제한적이었으며, 이는 본 방법이 복잡하고 보상이 희박한 환경에서 구조적 탐색이 필요한 경우에 가장 유익하다는 것을 시사한다.
• 사람이 설계한 행동 공간 없이도 의미 있는 행동 공간 편향(예: 전진 편향)을 자동으로 발견할 수 있었으며, 전문 지식 의존도를 감소시켰다.