[논문 리뷰] Sequoia: A Software Framework to Unify Continual Learning Research

Fabrice Normandin, Florian Golemo외 11명|arXiv (Cornell University)|2021. 08. 02.

Respiratory viral infections research참고 문헌 54인용 수 4

한 줄 요약

Sequoia는 지속적 학습(Continual Learning, CL) 연구를 공유된 가정 기반의 계층적 분류 체계를 통해 통합하는 소프트웨어 프레임워크이다. 이는 지속적 지도 학습(Continual Supervised Learning, CSL)과 지속적 강화 학습(Continual Reinforcement Learning, CRL) 간의 방법 유산 공유와 재사용을 가능하게 하며, 중복을 줄이고 재현 가능성을 높이며 평가 표준화를 통해 연구 속도를 가속화한다.

ABSTRACT

The field of Continual Learning (CL) seeks to develop algorithms that accumulate knowledge and skills over time through interaction with non-stationary environments. In practice, a plethora of evaluation procedures (settings) and algorithmic solutions (methods) exist, each with their own potentially disjoint set of assumptions. This variety makes measuring progress in CL difficult. We propose a taxonomy of settings, where each setting is described as a set of assumptions. A tree-shaped hierarchy emerges from this view, where more general settings become the parents of those with more restrictive assumptions. This makes it possible to use inheritance to share and reuse research, as developing a method for a given setting also makes it directly applicable onto any of its children. We instantiate this idea as a publicly available software framework called Sequoia, which features a wide variety of settings from both the Continual Supervised Learning (CSL) and Continual Reinforcement Learning (CRL) domains. Sequoia also includes a growing suite of methods which are easy to extend and customize, in addition to more specialized methods from external libraries. We hope that this new paradigm and its first implementation can help unify and accelerate research in CL. You can help us grow the tree by visiting www.github.com/lebrice/Sequoia.

연구 동기 및 목표

• 다양한 분리된 평가 설정과 일관성 없는 가정으로 인해 발생하는 지속적 학습(CL) 연구의 분열 문제를 해결하기 위해.
• 지속적 지도 학습(CSL)과 지속적 강화 학습(CRL) 간의 메서드 프레임워크를 통합함으로써 상호 간의 중복 노력을 줄이기 위해.
• 공유된 소프트웨어 인프라와 명확한 구성 및 평가 프로토콜을 제공함으로써 CL 분야의 재현 가능성과 표준화를 향상시키기 위해.
• 다양한 설정에서 모듈식이고 확장 가능하며 상호 운용 가능한 환경에서 CL 메서드를 개발하고 평가할 수 있도록 지원하기 위해.
• 일반 설정에서 개발된 메서드가 더 구체적인 자식 설정으로 직접 유산을 물려받아 적용될 수 있도록 하여 CL 분야의 진전을 가속화하기 위해.

제안 방법

• 각 CL 설정을 공유된 가정(예: 태스크 ID 가용성, 태스크 경계 지식 등)의 집합으로 정의하여 트리 형태의 계층적 구조를 형성한다.
• 더 일반적인 설정(부모)은 가정을 상속하고 더 제한적인 설정(자식)은 추가 제약 조건을 추가함으로써 메서드 재사용을 위한 상속 메커니즘을 가능하게 하는 계층적 분류 체계를 구축한다.
• Sequoia로 프레임워크를 구현하여, CSL과 CRL를 모두 지원하는 공개된 오픈소스 소프트웨어 라이브러리로 제공하며, 표준화되고 조합 가능한 환경과 데이터셋을 제공한다.
• 외부 라이브러리에서 유래한 CL 메서드를 포함한 점차 확장 가능한 메서드 컬렉션을 통합하고, 커스텀 메서드 개발 및 평가를 위한 확장 가능한 인터페이스를 제공한다.
• 표준화된 메트릭(최종 성능, 온라인 성능, 정규화된 런타임 포함)을 사용하여 다양한 설정에서의 평가를 지원한다.
• CSL에서 설계된 메서드가 CRL 설정에서, 반대로 CRL에서 설계된 메서드가 CSL 설정에서 사용 가능한 방식으로, 특히 경험 재생 기법과 같은 기법에 대해 교차 파라다임 호환성을 제공한다.

실험 결과

연구 질문

• RQ1 지속적 학습 설정의 다양성을 체계적으로 정리하면 중복을 줄이고 메서드 재사용성을 향상시킬 수 있는가?
• RQ2 통합 소프트웨어 프레임워크가 지속적 지도 학습과 지속적 강화 학습 간의 중복 노력을 어느 정도 줄일 수 있는가?
• RQ3 가정 기반의 계층적 분류 체계가 설정 간 직접적인 메서드 유산을 가능하게 하여 재현 가능성과 평가 일관성을 향상시킬 수 있는가?
• RQ4 표준화되고 재현 가능한 평가를 위해 이 프레임워크는 다양한 설정과 자원 제약 조건에서 CL 메서드 평가를 어떻게 지원하는가?
• RQ5 공유된 인프라는 지도 학습 및 강화 학습 환경에서 새로운 CL 알고리즘 개발 및 비교에 어떤 영향을 미치는가?

주요 결과

• CL 설정의 계층적 분류 체계는 메서드 유산을 가능하게 하며, 일반 설정에서 개발된 메서드가 모든 더 특정한 자식 설정에 자동으로 적용 가능하다.
• Sequoia는 경험 재생과 같은 핵심 기법의 공통 구현을 통해 CSL과 CRL 간의 중복 노력을 줄이며, MonsterKong 및 MuJoCo 벤치마크에서 이를 입증했다.
• 실증 평가 결과 최종 성능와 온라인 성능 사이에 명확한 트레이드오프가 존재하며, DQN과 같은 오프폴리시 알고리즘은 높은 최종 성능를 달성하고, PPO와 같은 온폴리시 알고리즘은 더 나은 온라인 성능를 확보한다.
• CRL에서 효과적인 전이 학습이 가능하다는 점이 확인되었으며, Continual-MonsterKong에서 PPO의 전이 행렬을 통해 대각선 위의 양수 보상은 새로운 태스크로의 성공적인 일반화를 나타낸다.
• GEM 및 GDumb와 같은 메서드는 점진적 지도 학습에서 최적의 성능-런타임 트레이드오프를 달성하며, GDumb는 비온라인 추론 능력이 있음에도 불구하고 강력한 베이스라인으로 기능한다.
• 환경 구성은 커스터마이제이션 가능하며, MonsterKong에서 레이아웃, 보상, 시각적 특징의 체계적 변형을 통해 정책 일반화를 테스트할 수 있다.