[논문 리뷰] How to Reuse and Compose Knowledge for a Lifetime of Tasks: A Survey on Continual Learning and Functional Composition

Jorge A. Mendez, Eric Eaton|arXiv (Cornell University)|2022. 07. 15.

Clinical Reasoning and Diagnostic Skills인용 수 9

한 줄 요약

이 종합 검토는 지속적인 지식 획득에서 功能적 조합성(functional compositionality)을 주장함으로써 종신 학습과 조합 학습을 통합한다. 재사용 가능하고 조합 가능한 지식 단위—구조적이고 모듈러한 표현 방식을 통해 학습된 것—가 지속적인 전방 및 후방 전이를 가능하게 하며 치명적인 잊기(catastrophic forgetting)를 완화함으로써, 조합을 통해 작업 간 일반화를 이룰 수 있는 종신 AI 에이전트로 향하는 길을 제시한다.

ABSTRACT

A major goal of artificial intelligence (AI) is to create an agent capable of acquiring a general understanding of the world. Such an agent would require the ability to continually accumulate and build upon its knowledge as it encounters new experiences. Lifelong or continual learning addresses this setting, whereby an agent faces a continual stream of problems and must strive to capture the knowledge necessary for solving each new task it encounters. If the agent is capable of accumulating knowledge in some form of compositional representation, it could then selectively reuse and combine relevant pieces of knowledge to construct novel solutions. Despite the intuitive appeal of this simple idea, the literatures on lifelong learning and compositional learning have proceeded largely separately. In an effort to promote developments that bridge between the two fields, this article surveys their respective research landscapes and discusses existing and future connections between them.

연구 동기 및 목표

• 종신 학습과 조합 학습이라는 두 분야가 거의 별개로 발전해 온 점을 감안할 때 그 격차를 메우기 위해.
• 기능적 조합성이 지속적 학습에서 과거 및 미래 작업 간 지식 재사용을 가능하게 할 수 있는 방식을 규명하기 위해.
• 조합 표현—모듈러하고 재사용 가능한 구성 요소—가 치명적인 잊기를 줄이고 전방 전이를 향상시킬 수 있음을 제안하기 위해.
• 통합된 프레임워크를 통해 종신 학습과 조합 학습 분야의 기존 방법을 분석하여 상호 보완적 관계와 열려 있는 과제를 드러내기 위해.
• 확장 가능하고 장기적인 유지 보존 및 일반화를 지원하는 명시적 조합 지식 구조 학습으로의 전환을 주장하기 위해.

제안 방법

• 조직형태, 종신 설정, 메커니즘, 주어진 구조, 구조 유형, 도메인의 여섯 가지 축을 기준으로 종신 학습과 조합 학습 분야의 기존 연구를 종합하고 분류하기.
• 비정상적인 분포 하에서 작업의 연속으로 지속적 학습을 프레임화하고 전방 및 후방 전이의 중요성을 강조하기.
• 기능적 조합성을 메커니즘으로 도입하여, 작업을 재사용 가능하고 조합 가능한 함수(예: '위치 찾기', '검색', '이동')로 분해함으로써 재조합 가능하게 하기.
• 스킬 탐색, 하이퍼넷워크, 모듈러 강화 학습 등 모듈러하고 작업에 특화된 구성 요소를 학습하는 방법을 조합 학습 기반 종신 학습의 길로 강조하기.
• 지식이 자가 포함된, 재사용 가능한 단위로 표현되어야 하며, 추론 시점에 새로운 작업을 해결하기 위해 조합될 수 있도록 제안하기.
• 예를 들어 '검색-검색'과 '이동'을 조합하여 스타일러스를 전달하는 것처럼, 조합이 새로운 작업에 대한 빠른 적응을 가능하게 함을 설명하기.

실험 결과

연구 질문

• RQ1 기능적 조합성이 종신 학습 시스템에서 지식 재사용을 향상시키는 데 어떻게 활용될 수 있는가?
• RQ2 기존의 종신 학습과 조합 학습 패러다임 간의 주요 차이점과 상호보완적 관계는 무엇인가?
• RQ3 조합 표현이 치명적인 잊기를 얼마나 줄이고 후방 전이를 향상시킬 수 있는가?
• RQ4 무한한 메모리 증가 없이도 확장 가능하고 장기적인 지식 유지 보존을 가능하게 하는 메커니즘은 무엇인가?
• RQ5 간단한, 학습된 기능들로부터 복잡한 새로운 작업을 해결하기 위해 모듈러하고 재사용 가능한 구성 요소를 어떻게 탐색하고 조합할 수 있는가?

주요 결과

• 대부분의 종신 학습 방법은 명시적으로 조합 구조를 학습하지 않으며, 대부분의 조합 학습 연구는 정적 다중작업 또는 소수 샘플 설정에서 이루어진다.
• 기능적 조합성이 새로운 작업에 걸쳐 모듈러한 구성 요소를 재사용함으로써 효율적인 전방 전이를 가능하게 하며, 예를 들어 '이동'과 '검색'을 조합하여 배달 작업을 수행하는 데 기여한다.
• 미래 지식이 과거 작업에 대한 모델 성능을 향상시킬 경우 후방 전이가 향상되며, 이는 조합 표현이 전방 및 후방 지식 전이를 모두 지원할 수 있음을 시사한다.
• 조합 표현은 지식 구성 요소의 선택적 유지 및 모듈러 업데이트를 가능하게 하여 치명적인 잊기를 감소시킨다.
• 하이퍼넷워크, 모듈러 강화 학습, 미분 가능 신경 모듈과 같은 방법들이 재사용 가능하고 조합 가능한 기능을 학습하는 데 잠재력을 보이고 있다.
• 종신 학습과 조합 학습의 통합은 아직 초보 단계에 있으며, 표현 학습, 일반화 및 확장성 분야에서 중요한 열린 과제가 남아 있다.