[논문 리뷰] Recent Advances of Continual Learning in Computer Vision: An Overview

Haoxuan Qu, Hossein Rahmani외 3명|arXiv (Cornell University)|2021. 09. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 153인용 수 41

한 줄 요약

이 논문은 최근 컴퓨터 비전 분야의 연속 학습(CL) 방법들을 조사하고, 기술별로 정규화, 증류, 메모리, 생성 재생, 및 파라미터 격리로 분류하며 이미지 분류를 넘어서는 응용 분야를 개관한다.

ABSTRACT

In contrast to batch learning where all training data is available at once, continual learning represents a family of methods that accumulate knowledge and learn continuously with data available in sequential order. Similar to the human learning process with the ability of learning, fusing, and accumulating new knowledge coming at different time steps, continual learning is considered to have high practical significance. Hence, continual learning has been studied in various artificial intelligence tasks. In this paper, we present a comprehensive review of the recent progress of continual learning in computer vision. In particular, the works are grouped by their representative techniques, including regularization, knowledge distillation, memory, generative replay, parameter isolation, and a combination of the above techniques. For each category of these techniques, both its characteristics and applications in computer vision are presented. At the end of this overview, several subareas, where continuous knowledge accumulation is potentially helpful while continual learning has not been well studied, are discussed.

연구 동기 및 목표

• 컴퓨터 비전 내에서의 최근 연속 학습(CL) 진행에 대한 체계적인 검토를 제공한다.
• CL 기법이 영상 분류를 넘어서는 CV 하위 영역(예: 세그먼테이션, 생성) 전반에 어떻게 적용되는지 요약한다.
• 주요 CL 방법 카테고리와 특성, 장점 및 한계를 강조한다.
• 지속적 지식 축적이 더 탐구될 수 있는 컴퓨터 비전의 잠재적 하위 영역을 확인한다.

제안 방법

• CL 기법을 정규화 기반, 지식 증류 기반, 메모리 기반, 생성 재생 기반, 파라미터 격리 기반 방법으로 그룹화하고 설명한다.
• 각 카테고리 내의 주요 변형을 요약한다(예: 정규화 아래 EWC, SI, MAS; 지식 증류 아래 LwF 및 증류 변형).
• CL 평가 지표(평균 정확도, 망각, 불관용, 역/전이 전이)를 논의한다.
• 다양한 CV 작업에 CL의 적용을 설명한다: 이미지 분류, 의미론적 세그먼테이션, 이미지 생성, 객체 탐지, 캡션 생성 등.

실험 결과

연구 질문

• RQ1 컴퓨터 비전에서 사용되는 주요 연속 학습 기법은 무엇이며, 그것들이 재앙적 망각을 다루는 방식에서 어떻게 다른가?
• RQ2 이미지 분류를 넘어선 다양한 CV 작업에서 연속 학습 방법은 어떻게 성능을 보이는가?
• RQ3 CL 성능과 망각을 가장 잘 특징화하는 평가 지표는 무엇인가?
• RQ4 지속적 지식 축적의 혜택을 받을 수 있지만 아직 충분히 탐구되지 않은 컴퓨터 비전의 하위 영역은 무엇인가?
• RQ5 정규화와 메모리 또는 증류와 같은 CL 기법의 조합이 성능을 어떻게 개선하는가?

주요 결과

• 본 논문은 CL 방법을 정규화, 지식 증류, 메모리 기반, 생성 재생, 파라미터 격리로 분류한다.
• CL은 이미지 분류를 넘어 의미론적 세그멘테이션, 이미지 생성, 객체 탐지 등으로 확장되었다고 언급한다.
• 기본 방법들에 대한 여러 변형과 개선(예: EWC, SI, MAS, LwF)을 논의하고, gradient/학습률 정규화를 대안 전략으로 강조한다.
• CL 성능 평가를 위한 지표로 평균 정확도, 망각, 불관용, 그리고 순방향/역방향 전이 등을 제시한다.
• 개요는 지속적 학습이 유익할 수 있지만 아직 잘 연구되지 않은 미개척 CV 하위 영역을 지적한다.