[논문 리뷰] Decoupling Value and Policy for Generalization in Reinforcement Learning

Roberta Răileanu, Rob Fergus|arXiv (Cornell University)|2021. 02. 20.

Reinforcement Learning in Robotics참고 문헌 52인용 수 4

한 줄 요약

이 논문은 IDAAC를 제안하며, 별도의 네트워크를 사용하여 정책과 가치 함수 학습을 분리하고, 임의의 시각적 특징에 대해 표현 불변성을 강제함으로써 강화학습의 새로운 방법을 제시한다. 정책 일반화에는 필요하지 않은 인스턴스별 세부 정보가 가치 추정에 필요함으로써 발생하는 정책-가치 표현 비대칭 문제를 해결함으로써, Procgen 및 DeepMind Control 벤치마크에서 최고의 일반화 성능을 달성한다. 특히 훈련 레벨 수가 제한된 환경에서 뛰어난 성능을 보인다.

ABSTRACT

Standard deep reinforcement learning algorithms use a shared representation for the policy and value function, especially when training directly from images. However, we argue that more information is needed to accurately estimate the value function than to learn the optimal policy. Consequently, the use of a shared representation for the policy and value function can lead to overfitting. To alleviate this problem, we propose two approaches which are combined to create IDAAC: Invariant Decoupled Advantage Actor-Critic. First, IDAAC decouples the optimization of the policy and value function, using separate networks to model them. Second, it introduces an auxiliary loss which encourages the representation to be invariant to task-irrelevant properties of the environment. IDAAC shows good generalization to unseen environments, achieving a new state-of-the-art on the Procgen benchmark and outperforming popular methods on DeepMind Control tasks with distractors. Our implementation is available at https://github.com/rraileanu/idaac.

연구 동기 및 목표

• 절차적 생성 환경에서 제한된 인스턴스로 훈련할 경우 딥 강화학습의 일반화 성능이 열 劣하는 문제를 해결하기 위해.
• 정책 추론에 필요하지 않은 인스턴스별 특징이 가치 추정에 필요함으로써 발생하는 정책-가치 표현 비대칭 문제를 규명하고 해결하기 위해.
• 정책과 가치 함수 최적화를 분리하고, 임의의 시각적 변형에 대해 불변성을 강제함으로써 일반화 성능을 향상시키기 위해.
• 최소한의 훈련 데이터로 Procgen 및 DeepMind Control 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• IDAAC는 정책과 가치 함수를 별도의 신경망으로 분리하여, 공유 표현이 임의의 상관관계를 포함할 수 있는 것을 방지한다.
• 임의의 시각적 변화(예: 배경 색상 또는 무늬)에 대해 공유 표현이 불변성을 가지도록 유도하는 보조 손실을 도입한다.
• 대조 학습을 사용하여, 시각적 왜곡(예: 배경 교체)이 발생하더라도 임의의 상태 정보는 유지하면서 표현의 변화를 최소화한다.
• 표준 이점 액터-크리틱 목적함수를 사용하여 정책 및 가치 네트워크를 함께 훈련하지만, 별도의 역전파를 통해 간섭을 줄인다.
• 왜곡이 많은 환경에서 Procgen 및 DeepMind Control 환경에서 평가하며, 배경 변화에 따른 특징 노름, 가치/이점 차이, 정책 분산 등의 지표를 사용한다.
• 모델은 오직 200개의 레벨로 훈련되어 있어, 저데이터 일반화 시나리오에 적합하다.

실험 결과

연구 질문

• RQ1 정책과 가치 함수 간에 단일 표현을 공유할 경우, 절차적 생성 환경에서 과적합이 발생하는가?
• RQ2 정책과 가치 학습을 분리하면, 새로운 레벨에 대한 일반화 성능이 향상되는가?
• RQ3 배경과 같은 관련 없는 시각적 특징에 대해 불변성을 강제하면, 강인성과 일반화 성능이 향상되는가?
• RQ4 저데이터 및 왜곡이 많은 환경에서 IDAAC는 PPO 및 PPG와 같은 최고 성능 기법과 비교해 어떻게 성능을 내는가?
• RQ5 보조 대조 손실을 통해 표현 불변성을 효과적으로 학습할 수 있으며, 정책 성능에 악영향을 주지 않는가?

주요 결과

• IDAAC는 200개 레벨로 훈련된 상태에서도 Procgen 벤치마크에서 최고 성능을 달성하며, 이는 이전 방법들을 능가한다.
• 배경 변화에 대해 뛰어난 강인성을 보이며, 표현 노름과 가치/이점 차이가 PPO 및 PPG보다 낮아, 관련 없는 시각적 특징에 대한 민감도가 감소함을 시사한다.
• 동일한 관측에 대해 10종의 배경 변형에서 L1 및 L2 노름 차이가 낮아, IDAAC가 배경 변화에 대해 표현 불변성을 학습함을 보여준다.
• 정책 강인성은 젠슨-셜라 분산(Jensen-Shannon divergence)으로 측정했을 때, 기준 모델들과 비교해 유사하거나 더 우수한 성능을 보였으며, 일부 환경에서 동작 등가성으로 인해 JSD가 완벽한 지표가 아니라는 점을 감안할 때도 마찬가지다.
• PPO-200 및 PPG보다도 더 뛰어난 일반화 성능를 보였으며, PPO-10k(10,000개 레벨로 훈련)는 더 나은 강인성 지표를 보였음에도 불구하고, IDAAC는 훨씬 적은 데이터로도 높은 일반화 성능를 달성했다.
• 보조 불변성 손실은 가치 추정에서 레벨별 특징의 기억을 효과적으로 줄였으며, 정책 성능에 악영향을 주지 않았다.