[논문 리뷰] Lifelong Reinforcement Learning with Modulating Masks

Eseoghene Ben-Iwhiwhu, Saptarshi Nath외 3명|arXiv (Cornell University)|2022. 12. 21.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 라이프러닝 강화학습(LRL)을 위한 조절 마스크를 도입하여 연속된 작업 간 지속적인 학습이 가능하게 하며, 치명적인 잊음(catastrophic forgetting)을 방지한다. 특히 PPO 및 IMPALA 에이전트를 사용하여 공유 백본 정책 네트워크의 파라미터를 조절하는 작업별 마스크를 학습함으로써, 표준 강화학습이 해결하지 못하는 극도로 희박한 보상 환경에서도 새로운 작업을 처음부터 성공적으로 해결할 수 있도록 한다. 선형 조합을 통한 과거 마스크의 재사용을 통해 전방 전이(forward transfer)를 실현한다.

ABSTRACT

Lifelong learning aims to create AI systems that continuously and incrementally learn during a lifetime, similar to biological learning. Attempts so far have met problems, including catastrophic forgetting, interference among tasks, and the inability to exploit previous knowledge. While considerable research has focused on learning multiple supervised classification tasks that involve changes in the input distribution, lifelong reinforcement learning (LRL) must deal with variations in the state and transition distributions, and in the reward functions. Modulating masks with a fixed backbone network, recently developed for classification, are particularly suitable to deal with such a large spectrum of task variations. In this paper, we adapted modulating masks to work with deep LRL, specifically PPO and IMPALA agents. The comparison with LRL baselines in both discrete and continuous RL tasks shows superior performance. We further investigated the use of a linear combination of previously learned masks to exploit previous knowledge when learning new tasks: not only is learning faster, the algorithm solves tasks that we could not otherwise solve from scratch due to extremely sparse rewards. The results suggest that RL with modulating masks is a promising approach to lifelong learning, to the composition of knowledge to learn increasingly complex tasks, and to knowledge reuse for efficient and faster learning.

연구 동기 및 목표

• 작업별로 고유한 정책 파라미터를 격리하기 위해 조절 마스크를 활용하여 라이프러닝 강화학습(LRL)에서 치명적인 잊음을 방지하고 간섭을 줄인다.
• 이전에 학습한 작업들에서의 지식을 선형 조합된 마스크를 통해 재사용함으로써 LRL에서 전방 전이를 가능하게 한다.
• 이전에는 지도 학습에서만 사용된 조절 마스크 기법을, 정책 그래เดียน트 방법을 사용하는 딥 강화학습으로 확장한다.
• Minigrid, Metaworld, ProcGen과 같은 복잡한 환경에서 희박한 보상 조건에서도 마스크 기반 접근법의 확장성과 효율성을 입증한다.
• 마스크 기반 라이프러닝 강화학습의 표현 능력과 메모리 효율성을 조사하고, 마스크 겹침(superposition) 전략을 통해 저장 공간을 줄일 수 있는 방법을 제안한다.

제안 방법

• PPO 및 IMPALA 에이전트의 딥 정책 네트워크에 적합한 기울기 하강을 통한 학습으로 조절 마스크를 적용하며, 각 마스크는 백본 네트워크의 파라미터나 활성화를 조절한다.
• 백본 네트워크를 고정한 채로 작업별 마스크를 독립적으로 학습함으로써, 작업 간 치명적인 잊음을 방지한다.
• 새로운 작업 학습 시 이전에 학습된 마스크의 선형 조합을 초기화 값으로 사용함으로써 지식 전이와 빠른 수렴을 가능하게 한다.
• 새로운 작업 학습 중에 선형 마스크 조합의 계수를 기울기 기반 최적화로 미세조정함으로써 효율적인 적응을 실현한다.
• 추론 시 작업 경계를 식별하고 적절한 마스크를 할당하기 위해 작업 오라클을 도입하였으며, 향후 작업 탐지 방법과의 통합을 고려한 미래 연구 과제로 제시한다.
• 각 레이어별 스칼라 마스크 또는 저장 가능한 마스크 수를 제한함으로써 메모리 효율성을 높이고, 새로운 작업을 기존 마스크의 겹침으로서 학습함으로써 저장 공간을 줄이는 방법을 탐색한다.

실험 결과

연구 질문

• RQ1 다양한 연속적이고 이산적인 제어 작업에서 조절 마스크가 치명적인 잊음을 효과적으로 방지할 수 있는가?
• RQ2 이전에 학습한 마스크의 선형 조합은 LRL에서 새로운 작업의 학습을 얼마나 가속화할 수 있는가? 특히 희박한 보상 환경에서의 성능은 어떠한가?
• RQ3 누적 성능와 안정성 측면에서 조절 마스크 사용이 표준 LRL 기준선 대비 어떻게 성능을 높이는가?
• RQ4 마스크의 희박성과 표현 능력은 라이프러닝 강화학습에서 정책 성능와 일반화 능력에 어떤 영향을 미치는가?
• RQ5 작업 탐지 메커니즘과의 통합을 통해 조절 마스크 기반 접근법이 알 수 없거나 동적으로 변화하는 작업 경계를 다룰 수 있는가?

주요 결과

• 조절 마스크 기반 접근법은 Minigrid, CT-Graph, Metaworld, ProcGen 등의 LRL 벤치마크에서 뛰어난 성능을 기록하였으며, 치명적인 잊음은 관측되지 않았다.
• 과거 마스크의 선형 조합을 통해 전방 전이가 가능해져, 에이전트가 극도로 희박한 보상 환경(1회 에피소드당 약 5.6×10⁻⁶)에서도 랜덤 탐색만으로도 작업을 성공적으로 해결할 수 있었다.
• 이전 마스크의 선형 조합으로 초기화된 경우, 새로운 작업에서의 수렴 속도가 빨라졌으며, 처음부터 학습하는 것보다 유의미하게 뛰어난 성능를 보였다.
• 이 방법은 메모리 효율적이다. 제한된 수의 마스크만 저장하고 선형 겹침을 통해 재사용함으로써, 작업 수가 증가할수록 저장 요구량이 크게 줄어든다.
• 레이어별 스칼라 마스크나 희박한 이진 마스크를 사용함으로써 성능를 유지하면서도 메모리 용량을 줄일 수 있어, 대규모 작업 집합에 대한 확장성 잠재력을 보였다.
• 이 방법은 PPO 및 IMPALA를 포함한 여러 RL 알고리즘에서 검증되었으며, 딥 정책 최적화 프레임워크에 광범위하게 적용 가능함을 입증하였다.