[논문 리뷰] An Introduction to Lifelong Supervised Learning

Shagun Sodhani, Mojtaba Faramarzi외 5명|arXiv (Cornell University)|2022. 07. 10.

Higher Education Learning Practices인용 수 4

한 줄 요약

이 논문은 인공지능 시스템이 순차적인 작업들에서 지속적으로 학습하면서 치명적인 망각을 최소화할 수 있도록 하는 지속적 학습(supervised learning)의 프레임워크를 제안한다. 모듈러 아키텍처, 어댑터, 외부 지식 기반의 통합을 통해 점진적 지식 습득, 선택적 망각, 동적 적응을 지원하며, 이는 스케일러블하고 지속적인 인공지능 시스템의 실생활 구현에 핵심적이다.

ABSTRACT

This primer is an attempt to provide a detailed summary of the different facets of lifelong learning. We start with Chapter 2 which provides a high-level overview of lifelong learning systems. In this chapter, we discuss prominent scenarios in lifelong learning (Section 2.4), provide 8 Introduction a high-level organization of different lifelong learning approaches (Section 2.5), enumerate the desiderata for an ideal lifelong learning system (Section 2.6), discuss how lifelong learning is related to other learning paradigms (Section 2.7), describe common metrics used to evaluate lifelong learning systems (Section 2.8). This chapter is more useful for readers who are new to lifelong learning and want to get introduced to the field without focusing on specific approaches or benchmarks. The remaining chapters focus on specific aspects (either learning algorithms or benchmarks) and are more useful for readers who are looking for specific approaches or benchmarks. Chapter 3 focuses on regularization-based approaches that do not assume access to any data from previous tasks. Chapter 4 discusses memory-based approaches that typically use a replay buffer or an episodic memory to save subset of data across different tasks. Chapter 5 focuses on different architecture families (and their instantiations) that have been proposed for training lifelong learning systems. Following these different classes of learning algorithms, we discuss the commonly used evaluation benchmarks and metrics for lifelong learning (Chapter 6) and wrap up with a discussion of future challenges and important research directions in Chapter 7.

연구 동기 및 목표

• 데이터와 작업이 시간이 지남에 따라 변화하는 실세계 인공지능 시스템에서의 지속적 학습 도전 과제를 해결하기 위해.
• 순차적 작업 학습 중 기계 학습 모델에서 발생하는 치명적인 망각을 극복하기 위해.
• 초기 학습부터 재학습 없이도 효율적인 점진적 지식 업데이트를 가능하게 하기 위해.
• 변화가 빠른 정보를 처리하기 위해 외부 지식 소스의 통합을 가능하게 하기 위해.
• 뒤로와 앞으로의 지식 전이를 지원하는 모듈러이고 확장 가능한 아키텍처(예: 어댑터)를 개발하기 위해.

제안 방법

• 모듈러 파rameter 업데이트를 통해 앞으로와 뒤로의 지식 전이를 지원하는 지속적 학습 프레임워크를 제안한다.
• 사전 훈련된 트랜스포머 모델에 삽입되는 작은 훈련 가능한 구성요소인 어댑터 모듈을 활용하여 최소한의 파라미터 업데이트로 효율적인 피니팅을 가능하게 한다.
• 새로운 작업 학습 시 어댑터 모듈만 업데이트되도록 하여 선택적 지식 유지 및 망각을 가능하게 한다.
• 메모리 증강 신경망(예: 신경 터미트 기계, 미분 가능한 신경 컴퓨터)을 통합하여 외부 지식 저장소에 동적 액세스할 수 있도록 한다.
• 시스템이 작업 간에 스킬(예: 지식 기반 쿼리, 결과 집계)을 조합할 수 있도록 교육 과정 기반의 학습 파이프라인을 설계한다.
• 모듈러 파라미터화와 외부 지식 기반의 통합을 통해 정적 지식과 동적으로 변화하는 정보를 분리한다.

실험 결과

연구 질문

• RQ1 기존에 습득한 지식을 망각하지 않고 새로운 작업들로부터 순차적으로 학습할 수 있는 기계 학습 모델은 어떻게 설계할 수 있는가?
• RQ2 성능을 유지하면서 이전 작업에 대한 성능을 보존할 수 있는, 효율적인 뒤로의 지식 전이를 가능하게 하는 아키텍처 설계는 무엇인가?
• RQ3 지속적 학습 시스템은 실시간으로 어떻게 외부의 동적 지식 소스를 효과적으로 쿼리하고 통합할 수 있는가?
• RQ4 어댑터 기반의 피니팅은 얼마나 많은 파라미터 업데이트를 최소화하면서도 작업 간 성능을 유지할 수 있는가?
• RQ5 스킬 조합과 교육 과정 기반 학습은 지속적 학습에서 일반화와 확장성 향상에 어떤 역할을 하는가?

주요 결과

• 어댑터 기반의 피니팅은 원본 사전 훈련된 모델 가중치를 그대로 유지하면서 하류 작업에서 뛰어난 성능을 달성하여, 컴act하고 확장 가능한 지속적 학습 시스템을 가능하게 한다.
• 어댑터를 포함한 모듈러 아키텍처는 특정 지식 모듈에 대한 선택적 업데이트를 허용함으로써 점진적 학습과 뒤로의 지식 전이를 지원한다.
• 외부 지식 기반의 통합은 정적 모델이 처리할 수 없는 시의적 쿼리(예: 현재 날씨)에 대한 답변을 가능하게 한다.
• 미분 가능한 신경 컴퓨터와 같은 메모리 증강 네트워크는 외부 정보에 대한 동적 액세스를 지원하여 실세계 환경에서의 적응성 향상에 기여한다.
• 교육 과정 기반의 훈련은 이전에 습득한 스킬을 조합함으로써 복잡한 다단계 추론 작업을 학습할 수 있도록 한다.
• 모듈러 파라미터화와 외부 지식 액세스의 조합은 동적인 환경에서 지속적 학습을 위한 확장 가능한 인덕티브 바이어스를 제공한다.