[논문 리뷰] Lifelong Learning using Eigentasks: Task Separation, Skill Acquisition, and Selective Transfer

Aswin Raghavan, Jesse Hostetler외 3명|arXiv (Cornell University)|2020. 07. 14.

Multimodal Machine Learning Applications참고 문헌 45인용 수 4

한 줄 요약

이 논문은 수면-각성 주기로 구성된 생체 모방적 웨이크-슬립 사이클을 통해 생성적 리플레이와 기능 기반 태스크 분리를 결합한 eigentask 프레임워크를 소개한다. 이는 지속적인 지도 학습에서 최신 기술 성능을 달성하며, OWVAE를 사용해 태스크 관련 조언을 생성하여 강화학습에서 정방향 지식 전이를 실현한다. 스타크래프트 2에서 단일 태스크 학습 대비 1.5배 성능 향상을 이룩했고, 샘플 수는 10분의 1로 줄였다.

ABSTRACT

We introduce the eigentask framework for lifelong learning. An eigentask is a pairing of a skill that solves a set of related tasks, paired with a generative model that can sample from the skill's input space. The framework extends generative replay approaches, which have mainly been used to avoid catastrophic forgetting, to also address other lifelong learning goals such as forward knowledge transfer. We propose a wake-sleep cycle of alternating task learning and knowledge consolidation for learning in our framework, and instantiate it for lifelong supervised learning and lifelong RL. We achieve improved performance over the state-of-the-art in supervised continual learning, and show evidence of forward knowledge transfer in a lifelong RL application in the game Starcraft2.

연구 동기 및 목표

• 지속적 기계 학습에서 치명적 기억 상실 문제를 해결하고 정방향 지식 전이를 가능하게 하기 위해.
• 생성 모델을 활용한 확장 가능하고 콘텐츠 기반 주소 지정 메모리 시스템을 스킬에 대해 개발하기 위해.
• 기억 상실 완화를 넘어서 생성적 리플레이를 긍정적 정방향 전이를 지원하는 데 활용하기 위해.
• 기능 기반 조언을 통해 지속적 강화학습에서 효율적인 탐색을 가능하게 하기 위해.
• 지속적 학습 벤치마크와 실제 강화학습 환경에서 성능 향상과 지식 전이 향상을 입증하기 위해.

제안 방법

• eigentask 프레임워크는 생성 모델(생성기)와 태스크별 기능(판별 모델)을 쌍으로 조합하여 스킬을 위한 콘텐츠 기반 주소 지정 메모리 시스템을 형성한다.
• OWVAE는 다수의 VAE를 생성기로 사용하고, 잠재 공간에서 우도 비율 검정을 적용하여 입력을 eigentask에 할당한다.
• 생성기 및 기능 손실을 결합한 공동 손실 함수를 사용하며, 우도 비율에 따라 가중치를 조정하여 엔드 투 엔드 학습을 가능하게 한다.
• 기능 예측 신뢰도를 기반으로 거부 샘플링을 적용하여 이상치 샘플을 걸러내어 리플레이 품질을 향상시킨다.
• 강화학습 환경에서는 OWVAE를 활용해 과거의 관련 기능을 '조언'으로 검색하여 탐색에 활용하며, 이는 메인 정책과 혼합 정책 방식으로 통합된다.
• 웨이크-슬립 주기로 태스크 학습(웨이크)과 지식 통합(슬립)을 번갈아 수행하여 지속적인 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 생성적 리플레이를 기억 상실 완화를 넘어서 정방향 지식 전이를 가능하게 하는 데 확장할 수 있는가?
• RQ2 구조화된 생성 모델링을 통해 어떻게 태스크 분리가 달성될 수 있으며, 이는 지속적 학습을 향상시키는가?
• RQ3 과거 경험에서 유래한 기능 기반 조언은 지속적 강화학습에서 탐색과 학습 효율성을 향상시키는가?
• RQ4 eigentask를 통한 선택적 지식 전이가 지속적 학습 벤치마크에서 표준 생성적 리플레이와 비교해 어떻게 다를까?
• RQ5 유사한 과거 태스크와 유사한 새로운 태스크에 대해 eigentask는 얼마나 더 빠른 적응을 가능하게 하는가?

주요 결과

• OWVAE는 혼합 MNIST/FashionMNIST 지속적 학습 벤치마크에서 이전의 생성 메모리 방법들을 능가하는 최신 기술 성능을 달성했다.
• 메서드는 뛰어난 태스크 분리 능력을 보였으며, 각 VAE 생성기에서 유도된 명확하고 고해상도의 샘플을 통해 그 결과를 시각적으로 확인할 수 있었다.
• 기능 신뢰도 기반의 거부 샘플링은 표준 리플레이 대비 기억 상실을 감소시키고 지속적 학습 성능을 향상시켰다.
• 스타크래프트 2에서 이 방법은 긍정적 정방향 전이를 실현했다: 'ZerglingsAndBanelings 공격' 태스크에서 단일 태스크 학습 대비 1.5배 성능 향상을 이룩했고, RL 샘플 수는 10분의 1로 감소시켰다.
• 정방향 전이 효과는 유사 태스크 간(예: 전투-전투)에서 가장 뛰어났지만, 비유사 태스크 간에는 스킬 선택 불일치로 인해 성능이 떨어졌다.
• 이 프레임워크는 스타크래프트 2의 일부 미니게임에서 FullyConv 정책 아키텍처에 대해 발표된 바 있는 최고 성능을 초월하여 실용적 확장성과 효율성을 입증했다.