Skip to main content
QUICK REVIEW

[논문 리뷰] Avalanche: A PyTorch Library for Deep Continual Learning

Antonio Carta, Lorenzo Pellegrini|arXiv (Cornell University)|2023. 02. 02.
Domain Adaptation and Few-Shot Learning인용 수 12
한 줄 요약

Avalanche는 PyTorch를 확장하여 동적 아키텍처, 데이터 스트림, 및 심층 연속학습(딥 커티뉴얼 러닝)에서 점진적 학습/평가를 지원하며 벤치마크, 학습 전략, 플러그인 기반 확장성을 제공합니다.

ABSTRACT

Continual learning is the problem of learning from a nonstationary stream of data, a fundamental issue for sustainable and efficient training of deep neural networks over time. Unfortunately, deep learning libraries only provide primitives for offline training, assuming that model's architecture and data are fixed. Avalanche is an open source library maintained by the ContinualAI non-profit organization that extends PyTorch by providing first-class support for dynamic architectures, streams of datasets, and incremental training and evaluation methods. Avalanche provides a large set of predefined benchmarks and training algorithms and it is easy to extend and modular while supporting a wide range of continual learning scenarios. Documentation is available at \url{https://avalanche.continualai.org}.

연구 동기 및 목표

  • 비정상 상태의 데이터 스트림에서 학습으로 연속학습의 필요성을 제시하고, 표준 라이브러리에서의 오프라인 학습의 한계를 해결한다.
  • 동적 아키텍처, 스트리밍 데이터셋, 및 CL 시나리오를 위한 점진적 학습/평가를 지원하는 확장 가능한 PyTorch 기반 플랫폼으로 Avalanche를 소개한다.
  • CL 연구의 빠른 프로토타이핑과 재현성을 돕기 위한 라이브러리의 모듈식 설계, 벤치마크, 전략, 평가/로깅 도구를 제시한다.
  • 구성요소 재사용, 플러그인 기반 맞춤화, 연구 워크플로우와의 광범위한 호환성을 가능하게 하는 아키텍처 특징을 강조한다.]
  • method':['벤치마크, 트레이닝, 모델, 평가, 로거의 다섯 모듈 아키텍처를 설명한다.','학습 중 아키텍처, 재생 버퍼, 손실 함수, 옵티마이저를 업데이트할 수 있는 동적이고 독립적인 구성요소를 설명한다.','CL 방법을 결합하고 재사용할 수 있게 하는 플러그인 시스템과 콜백 기반 전략 템플릿을 자세히 설명한다.','스트림 조작, 균형 조정, 재생 버퍼를 위한 AvalancheDataset 및 데이터 로더 유틸리티를 제시한다.','실험 간 신뢰성을 보장하기 위한 테스트, 지속적 통합 및 재현성 관행을 개략한다.]
  • research_questions':['Avalanche는 얼마나 많은 연속 학습 시나리오와 벤치마크를 지원하며, 어떻게 확장될 수 있는가?','플러그인 및 템플릿 시스템이 서로 다른 CL 설정 간에 전략을 결합하고 재사용하게 하는가?','학습 중에 동적 아키텍처와 진화하는 학습 구성요소를 위한 어떤 메커니즘을 Avalanche가 제공하는가?','학습 및 평가 전반에 걸친 재현성과 로깅을 Avalanche가 어떻게 다루는가?','연구 지향적 연속 학습 워크플로우로 확장된다는 것을 보여주는 증거가 무엇인가?]
  • key_findings':['Avalanche는 발표된 시점 기준으로 딥 연속 학습을 위한 가장 큰 소프트웨어 라이브러리로 소개된다.','라이브러리는 연구 지향 CL 프로젝트를 위한 빠른 프로토타이핑, 재현성 및 이식성을 강조한다.','Avalanche offers a modular, extensible design with five core modules and a robust plugin system that supports combining strategies.','DynamicModules, ExemplarBuffers, and plugins enable on-the-fly updates to architectures, replay buffers, and losses within training loops.','A comprehensive evaluation/logging infrastructure (EvaluationPlugin and multiple loggers) facilitates monitoring metrics and system resources during experiments.']
  • table_headers:[]
  • table_rows:[]

제안 방법

  • Describe the five-module architecture: benchmarks, training, models, evaluation, and loggers.

더 나은 연구,지금 바로 시작하세요

연구 설계부터 논문 작성까지, 연구 시간을 획기적으로 줄여보세요.

카드 등록 없음 · 무료 플랜 제공

이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.