[논문 리뷰] Multi-task Deep Reinforcement Learning with PopArt

Matteo Hessel, Hubert Soyer외 4명|arXiv (Cornell University)|2018. 09. 12.

Reinforcement Learning in Robotics참고 문헌 51인용 수 24

한 줄 요약

이 논문은 다중 작업 강화학습을 위한 PopArt 정규화를 제안하여, 보상 스케일과 희소성에 관계없이 균형 잡힌 업데이트 기여를 보장함으로써 단일 에이전트가 동시에 여러 작업을 학습할 수 있도록 한다. 가치 함수 업데이트를 보상 스케일과 희소성에 불변하게 만들었으며, 이로 인해 최신 기술 성능을 달성하여 57개의 Atari 게임에서 인간의 중앙값 성능을 초월하고, 30개의 DeepMind Lab 작업에서 평균 72.8%의 점수를 기록했다. 이는 공유 가중치를 가진 단일 정책을 사용한 결과이다.

ABSTRACT

The reinforcement learning community has made great strides in designing algorithms capable of exceeding human performance on specific tasks. These algorithms are mostly trained one task at the time, each new task requiring to train a brand new agent instance. This means the learning algorithm is general, but each solution is not; each agent can only solve the one task it was trained on. In this work, we study the problem of learning to master not one but multiple sequential-decision tasks at once. A general issue in multi-task learning is that a balance must be found between the needs of multiple tasks competing for the limited resources of a single learning system. Many learning algorithms can get distracted by certain tasks in the set of tasks to solve. Such tasks appear more salient to the learning process, for instance because of the density or magnitude of the in-task rewards. This causes the algorithm to focus on those salient tasks at the expense of generality. We propose to automatically adapt the contribution of each task to the agent's updates, so that all tasks have a similar impact on the learning dynamics. This resulted in state of the art performance on learning to play all games in a set of 57 diverse Atari games. Excitingly, our method learned a single trained policy - with a single set of weights - that exceeds median human performance. To our knowledge, this was the first time a single agent surpassed human-level performance on this multi-task domain. The same approach also demonstrated state of the art performance on a set of 30 tasks in the 3D reinforcement learning platform DeepMind Lab.

연구 동기 및 목표

• 다중 작업 강화학습에서 다양한 작업 간 보상 스케일과 희소성의 변화로 인한 학습 역학의 불균형 문제를 해결하기 위해.
• 모든 개별 작업의 성능을 저하시키지 않고도 단일 에이전트가 동시에 다양한 작업을 학습할 수 있도록 하기 위해.
• 각 작업의 기여도를 자동으로 조정하는 방법을 개발하여 정책 최적화 과정에서 모든 작업이 동일한 영향을 가지도록 하기 위해.
• 보상 크기와 희소성에 관계없이 가치 함수 업데이트가 불변이 되도록 하여 병렬 다중 작업 RL에서 데이터 효율성과 학습 안정성을 향상시키기 위해.
• 단일 공유 정책가 넓은 범위의 환경에서 인간의 중앙값 성능을 초월할 수 있음을 보여주어 다중 작업 RL 분야에서 중요한 전환점이 되는 것을 목적으로 한다.

제안 방법

• 방법은 액터-크리틱 네트워크의 가치 함수 헤드에 PopArt 정규화를 적용하여 상태 가치의 척도 불변 추정을 유지한다.
• PopArt는 수익의 평균과 표준편차에 대한 누적 추정을 사용하여 가치 함수 출력을 정규화하며, backpropagation이 필요 없는 적응형 업데이트를 수행한다.
• 정규화 파라미터(μ 및 σ)는 β = 3×10⁻⁴의 감쇠율을 사용하여 학습 중 실시간으로 업데이트되며, 이는 안정성 확보와 수치적 문제 방지를 위해 필수적이다.
• 원래 출력 스케일을 유지하기 위해 선형 변환을 통한 수정된 손실을 사용하여 가치 추정의 무결성을 유지한다.
• 방법은 IMPALA 프레임워크에 통합되며, 정규화 통계는 온라인으로 업데이트되고, 표준 액터-크리틱 업데이트가 순차적으로 적용된다.
• 하이퍼파라미터는 인구 기반 학습(PBT)을 사용하여 튜닝되며, β 또는 정규화 범위에 대한 수동 튜닝이 필요하지 않다.

실험 결과

연구 질문

• RQ1 단일 딥 강화학습 에이전트가 다양한 작업을 동시에 학습하면서 모든 작업에서 균형 잡힌 성능을 달성할 수 있는가?
• RQ2 작업 간 보상 스케일과 희소성의 변화를 어떻게 완화할 수 있으며, 특정 작업이 학습 역학을 지배하는 것을 방지할 수 있는가?
• RQ3 기존의 가치 함수 업데이트에 비해 PopArt 정규화는 다중 작업 딥 강화학습에서 데이터 효율성과 학습 안정성 향상에 기여하는가?
• RQ4 단일 공유 정책가 Atari-57 및 DmLab-30와 같은 광범위한 환경에서 초인간 성능을 달성할 수 있는가?
• RQ5 척도 불변 가치 함수 학습은 다중 작업 RL 환경에서 더 나은 일반화와 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 PopArt 기반 방법은 57개의 Atari 벤치마크에서 단일 공유 정책를 사용해 중앙값 인간 성능을 초월하는 110%의 인간 정규화 점수를 기록했다.
• 30단계의 DeepMind Lab 벤치마크에서 평균 인간 정규화 점수 72.8%를 기록하여 다중 작업 RL 분야에서 새로운 최신 기술 성능을 수립했다.
• 가치 함수 업데이트의 적응형 정규화 덕분에 최소한의 계산 오버헤드로 데이터 효율성이 향상되었으며, 이는 성능 향상에 기여했다.
• 보상 크기와 희소성이 극명하게 다른 작업들 간의 학습을 성공적으로 균형 잡았으며, 어떤 작업도 학습을 지배하지 않도록 방지했다.
• 결과적으로 단일 에이전트가 다양한 환경으로 일반화할 수 있으며, 다수의 작업에서 인간 수준 성능을 초월하는 성능을 同시에 달성했다.
• 이 방법은 기존의 다중 작업 RL 프레임워크(예: IMPALA)와 호환되며, 정책 증류나 활성 샘플링과 같은 다른 기법과도 조합 가능하다.