[논문 리뷰] Continual-Learning-as-a-Service (CLaaS): On-Demand Efficient Adaptation of Predictive Models

Rudy Semola, Vincenzo Lomonaco외 1명|arXiv (Cornell University)|2022. 06. 14.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 지속적 학습(Continual Learning, CL) 전략을 활용하여 온디맨드로 효율적이고 상태 기반의 모델 적응을 가능하게 하는 MLOps 기반 소프트웨어 서비스 패러다임인 지속적 학습 서비스(Continual-Learning-as-a-Service, CLaaS)를 소개한다. 이는 '지속적 뇌(Continual Brain)'이라는 마이크로서비스 기반 시스템을 통해 실현되며, 전통적인 누적 재학습 대비 학습 시간과 메모리 사용량을 최대 8배까지 감소시켜 실제 비전 및 패션 인식 작업에서 뚜렷한 효율성 향상을 보였다.

ABSTRACT

Predictive machine learning models nowadays are often updated in a stateless and expensive way. The two main future trends for companies that want to build machine learning-based applications and systems are real-time inference and continual updating. Unfortunately, both trends require a mature infrastructure that is hard and costly to realize on-premise. This paper defines a novel software service and model delivery infrastructure termed Continual Learning-as-a-Service (CLaaS) to address these issues. Specifically, it embraces continual machine learning and continuous integration techniques. It provides support for model updating and validation tools for data scientists without an on-premise solution and in an efficient, stateful and easy-to-use manner. Finally, this CL model service is easy to encapsulate in any machine learning infrastructure or cloud system. This paper presents the design and implementation of a CLaaS instantiation, called LiquidBrain, evaluated in two real-world scenarios. The former is a robotic object recognition setting using the CORe50 dataset while the latter is a named category and attribute prediction using the DeepFashion-C dataset in the fashion domain. Our preliminary results suggest the usability and efficiency of the Continual Learning model services and the effectiveness of the solution in addressing real-world use-cases regardless of where the computation happens in the continuum Edge-Cloud.

연구 동기 및 목표

• 산업용 머신러닝 배포를 위한 확장성 있고 효율적이며 사용자 친화적인 지속적 학습 인프라의 부족을 해결하기 위해.
• 연구 중심의 지속적 학습과 동적이고 비정상적인 환경에서의 실제 MLOps 워크플로우 사이의 격차를 메우기 위해.
• 지속적 학습에 깊은 전문 지식이 없더라도 저비용으로 상태 기반 모델 업데이트를 가능하게 하기 위해.
• 엣지에서 클라우드에 이르는 컴퓨팅 환경에서 실시간 추론과 지속적인 모델 적응을 지원하기 위해.

제안 방법

• 지속적 학습을 CI/CD 파이프라인과 통합한 서비스 지향 아키텍처로서 CLaaS를 설계하기 위해.
• 모듈성과 확장성을 고려해 애자일 프레임워크를 확장한 방식으로, CLaaS의 마이크로서비스 기반 구현체인 '지속적 뇌(Continual Brain)'을 구현하기 위해.
• 기억 버퍼를 고정 크기로 유지하는 리플레이 기반 CL 전략을 사용하여 치명적 기억 상실을 완화하면서도 추론 효율성을 유지를 위해.
• CI/CD 파이프라인을 통한 자동화된 모델 재학습 및 검증을 통해 전체 재학습 없이도 온디맨드로 상태 기반 업데이트를 가능하게 하기 위해.
• 두 가지 실제 데이터셋인 CORe50(객체 인식용)과 DeepFashion-C(패션 속성 및 카테고리 예측용)에서 CLaaS의 성능을 벤치마킹하기 위해.
• 성능-효율성 트레이드오프 최적화를 위해 하이퍼파rameter를 설정한 바, 메모리 크기(memory_size)는 CORe50에선 5000, DeepFashion-C에선 15000으로 설정하였다.

실험 결과

연구 질문

• RQ1 서비스 지향 아키텍처로서의 CLaaS는 실제 머신러닝 응용 프로그램에서 온디맨드로 효율적이고 상태 기반의 모델 적응을 효과적으로 지원할 수 있는가?
• RQ2 CLaaS는 전통적인 누적 재학습 대비 학습 시간, 메모리 사용량, 예측 성능 측면에서 어떻게 비교되는가?
• RQ3 CLaaS는 엣지에서 클라우드에 이르기까지 기존의 MLOps 및 머신러닝 서빙 시스템에 얼마나 잘 통합될 수 있는가?
• RQ4 비정상적인 데이터 환경에서 CLaaS는 계산 및 메모리 비용을 크게 줄이면서도 높은 예측 정확도를 유지할 수 있는가?

주요 결과

• DeepFashion-C 데이터셋에서 리플레이 CL 전략은 누적 재학습 대비 9가지 경험에 대해 최대 6배, 10가지 경험에 대해 최대 8배의 학습 시간과 메모리 사용량 감소를 기록하였다.
• CORe50 데이터셋에서는 CL 기반 전략가 예측 성능를 상한선에 근접하게 달성하면서도 계산 비용을 크게 감소시켰다.
• 리플레이 CL 전략의 학습 시간은 경험 수 증가에 따라 안정적으로 유지되어 확장성과 효율성을 입증하였다.
• CLaaS 아키텍처는 전체 재학습 없이도 효율적이고 자동화되며 재현 가능한 모델 업데이트를 가능하게 하여 산업용 MLOps 파이프라인에의 실현 가능성을 입증하였다.
• 시스템은 로봇 기반 객체 인식 및 패션 속성 예측이라는 두 가지 실제 도메인에 성공적으로 배포 및 평가되어 실용성과 타당성을 확인하였다.
• CLaaS는 기존의 머신러닝 서빙 시스템 및 MLOps 툴킷과의 통합이 원활했으며, 엣지 및 클라우드 배포 환경 모두를 지원하였다.