[논문 리뷰] Lightweight Learner for Shared Knowledge Lifelong Learning

Yunhao Ge, Yuecheng Li외 13명|arXiv (Cornell University)|2023. 05. 24.

COVID-19 diagnosis using AI인용 수 6

한 줄 요약

이 논문은 여러 에이전트가 병렬로 작업을 학습하고 경량의 작업별 모듈 및 공통 잠재 공간 내 공유된 '작업 앵커'를 통해 지식을 공유하는 탈중앙화된 프레임워크인 공유 지식 영속 학습(Shared Knowledge Lifelong Learning, SKILL)을 소개한다. 제안된 경량 학습기(Lightweight Learner, LLL)는 과도한 파라미터 성장과 치명적인 잊기 현상을 최소화하면서도 도전적인 SKILL-102 데이터셋(102개의 이미지 분류 작업, 5,033개의 클래스)에서 최신 기술 수준의 정확도를 달성하며, 거의 완벽한 병렬 처리를 가능하게 한다.

ABSTRACT

In Lifelong Learning (LL), agents continually learn as they encounter new conditions and tasks. Most current LL is limited to a single agent that learns tasks sequentially. Dedicated LL machinery is then deployed to mitigate the forgetting of old tasks as new tasks are learned. This is inherently slow. We propose a new Shared Knowledge Lifelong Learning (SKILL) challenge, which deploys a decentralized population of LL agents that each sequentially learn different tasks, with all agents operating independently and in parallel. After learning their respective tasks, agents share and consolidate their knowledge over a decentralized communication network, so that, in the end, all agents can master all tasks. We present one solution to SKILL which uses Lightweight Lifelong Learning (LLL) agents, where the goal is to facilitate efficient sharing by minimizing the fraction of the agent that is specialized for any given task. Each LLL agent thus consists of a common task-agnostic immutable part, where most parameters are, and individual task-specific modules that contain fewer parameters but are adapted to each task. Agents share their task-specific modules, plus summary information ("task anchors") representing their tasks in the common task-agnostic latent space of all agents. Receiving agents register each received task-specific module using the corresponding anchor. Thus, every agent improves its ability to solve new tasks each time new task-specific modules and anchors are received. On a new, very challenging SKILL-102 dataset with 102 image classification tasks (5,033 classes in total, 2,041,225 training, 243,464 validation, and 243,464 test images), we achieve much higher (and SOTA) accuracy over 8 LL baselines, while also achieving near perfect parallelization. Code and data can be found at https://github.com/gyhandy/Shared-Knowledge-Lifelong-Learning

연구 동기 및 목표

• 일반적으로 순차적이고 단일 에이전트 기반의 영속 학습 기법의 한계를 해결하기 위해 병렬적이고 탈중앙화된 방식으로 다수의 에이전트가 학습하도록 보장한다.
• 통신 비용을 최소화하고 치명적인 잊기 현상을 방지하는 가용성 있는 지식 공유 메커니즘을 설계한다.
• 탈중앙화된 지식 통합을 통해 모든 에이전트가 결국 모든 작업을 완전히 습득할 수 있도록 한다.
• 대규모이고 복잡한 영속 학습 작업에서 높은 정확도를 유지하면서도 병렬 처리를 통해 상당한 속도 향상을 달성한다.

제안 방법

• 공유 지식을 표현하기 위해 각 에이전트는 고정된, 작업에 종속되지 않는 백본(Imagenet에서 사전학습된)을 사용하여 작업별 파라미터 증가를 최소화한다.
• 작업별 지식은 유연하게 조정 가능한 헤드와 유의미한 편향(Beneficial Biases, BB)을 통해 인코딩되며, 이는 도메인 간 격차를 보완한다.
• 에이전트들은 오직 자신의 작업별 모듈과 '작업 앵커'—공통 잠재 공간 내 작업의 전역 표현—만을 공유하여 효율적인 지식 전이를 가능하게 한다.
• 수신 에이전트는 해당 앵커를 사용해 새로운 모듈을 등록함으로써 재학습 없이도 새로운 작업 해결 능력을 점진적으로 향상시킬 수 있다.
• GMMC/MAHA 기반의 작업 매핑기로, 시각-의미적 임베딩을 사용해 작업 오라클 없이도 앵커 매칭을 수행하며, 새로운 작업을 이전에 학습한 작업과 매칭할 수 있다.
• 지식 통합은 탈중앙화되어 있다: 다른 에이전트로부터 모듈과 앵커를 수신함에 따라 시간이 지남에 따라 각 에이전트가 향상되며, 결국 동일하고 완전한 기능을 갖춘 모델로 수렴한다.

실험 결과

연구 질문

• RQ1 탈중앙화된 영속 학습 에이전트 집단이 순차적 단일 에이전트 접근 방식보다 더 빠르고 확장 가능한 학습을 달성할 수 있는가?
• RQ2 에이전트 간에 통신 오버헤드를 최소화하면서도 높은 정확도를 유지하기 위해 지식을 어떻게 압축적으로 표현하고 공유할 수 있는가?
• RQ3 고정된 백본과 수요에 따라 활성화되는 편향을 갖춘 경량 모듈식 아키텍처가 대규모 영속 학습에서 치명적인 잊기 현상을 효과적으로 완화할 수 있는가?
• RQ4 공유된 잠재 공간 내 작업 앵커가 얼마나 정확하게 오라클 없이 작업 식별과 지식 통합을 가능하게 하는가?
• RQ5 제안된 SKILL 프레임워크가 복잡한 다중 작업 벤치마크에서 최신 기술 수준의 성능을 달성하면서도 거의 완벽한 병렬 처리 속도 향상을 제공하는가?

주요 결과

• 제안된 경량 학습기(Lightweight Learner, LLL)는 SKILL-102 벤치마크에서 기존 8종의 영속 학습 기반 모델들을 능가하는 최신 기술 수준의 정확도를 달성한다.
• 이 프레임워크는 거의 완벽한 병렬 처리를 가능하게 하여 N명의 에이전트를 사용할 경우 최소 0.5×N의 속도 향상을 달성하며, 순차적 기반 모델들보다 뚜렷이 뛰어난 성능을 보인다.
• 유의미한 편향(BB)의 사용으로 도메인 간 격차 간섭이 감소하여, ImageNet과 큰 분포 이격을 보이는 작업에서 성능 향상이 이루어진다.
• GMMC/MAHA 작업 매핑기는 새로운 작업을 이전에 학습한 작업과 매칭하는 데 84% 이상의 정확도를 달성하여, 작업 오라클 없이도 효과적인 탈중앙화 통합을 가능하게 한다.
• 모델은 대규모 작업에 대해 효과적으로 스케일링 가능하다: 102개의 작업에서 5,033개의 클래스를 학습하는 것은 최소한의 파라미터 증가와 높은 효율성으로 가능하다.
• 고정된 백본과 경량의 수요에 따른 헤드를 사용한 설계로 치명적인 잊기 현상이 최소화되고, 에이전트 간 효율적인 지식 공유가 가능하다.