[논문 리뷰] The CLEAR Benchmark: Continual LEArning on Real-World Imagery

Zhiqiu Lin, Jia Shi외 2명|arXiv (Cornell University)|2022. 01. 17.

Domain Adaptation and Few-Shot Learning인용 수 15

한 줄 요약

CLEAR 벤치마크는 2004년에서 2014년 사이에 실제 웹 이미지에서 시각적 개념의 자연스러운 시간적 진화를 기반으로 한 새로운 지속적 이미지 분류 데이터셋을 소개한다. 이 데이터셋은 비전-언어 모델과 인류 기반 작업을 통해 YFCC100M에서 정제된 것이다. 이 연구는 스트리밍 평가 프로토콜과 비지도 사전학습이 지속적 학습 성능을 크게 향상시킨다는 것을 보여주며, 기존의 독립적 동일분포(iid) 기반 벤치마크는 인위적인 분포 이동으로 인해 모델의 일반화 능력을 과대평가한다는 점을 밝힌다.

ABSTRACT

Continual learning (CL) is widely regarded as crucial challenge for lifelong AI. However, existing CL benchmarks, e.g. Permuted-MNIST and Split-CIFAR, make use of artificial temporal variation and do not align with or generalize to the real-world. In this paper, we introduce CLEAR, the first continual image classification benchmark dataset with a natural temporal evolution of visual concepts in the real world that spans a decade (2004-2014). We build CLEAR from existing large-scale image collections (YFCC100M) through a novel and scalable low-cost approach to visio-linguistic dataset curation. Our pipeline makes use of pretrained vision-language models (e.g. CLIP) to interactively build labeled datasets, which are further validated with crowd-sourcing to remove errors and even inappropriate images (hidden in original YFCC100M). The major strength of CLEAR over prior CL benchmarks is the smooth temporal evolution of visual concepts with real-world imagery, including both high-quality labeled data along with abundant unlabeled samples per time period for continual semi-supervised learning. We find that a simple unsupervised pre-training step can already boost state-of-the-art CL algorithms that only utilize fully-supervised data. Our analysis also reveals that mainstream CL evaluation protocols that train and test on iid data artificially inflate performance of CL system. To address this, we propose novel "streaming" protocols for CL that always test on the (near) future. Interestingly, streaming protocols (a) can simplify dataset curation since today's testset can be repurposed for tomorrow's trainset and (b) can produce more generalizable models with more accurate estimates of performance since all labeled data from each time-period is used for both training and testing (unlike classic iid train-test splits).

연구 동기 및 목표

• 실제 세계의 데이터 분포 이동을 반영하는 현실적이고 자연스럽게 진화하는 지속적 학습 벤치마크의 부족을 해결하기 위해.
• 라벨이 부여된 데이터와 라벨이 없는 데이터를 모두 포함하는 대규모, 시간 순서가 정렬된, 고품질의 이미지 데이터셋을 캐리어하는 가용성과 저비용의 방법을 개발하기 위해.
• 기존의 iid 평가 프로토콜이 성능을 인위적으로 과대평가한다는 점을 입증함으로써, 지속적 학습에서 이러한 프로토콜의 타당성을 도전하기 위해.
• 더 일반화 가능한 지속적 학습 시스템을 위해 라벨이 없는 데이터와 스트리밍 학습 프로토콜의 사용을 촉진하기 위해.
• 재현 가능성을 보장하고 지속적 학습 알고리즘에 대한 공동체 차원의 평가를 촉진하기 위해 공개 벤치마크 플랫폼을 제공하기 위해.

제안 방법

• 비전-언어 파이프라인을 활용하여 CLIP 임베딩을 기반으로 시각적 개념의 진화에 따라 시간 순서가 정렬된 이미지 클러스터를 식별하고 추출함으로써 YFCC100M에서 CLEAR를 정제하였다.
• 비전-언어 모델을 활용한 반복적이고 상호작용적인 라벨링을 통해 초기 라벨 데이터를 생성한 후, 인류 기반 작업을 통해 오류와 부적절한 콘텐츠를 검증하고 걸러냈다.
• 시간적 스트림을 11개의 버킷(2004–2014)으로 나누었으며, 각 버킷에 700만 개의 라벨이 부여된 이미지가 포함되어 있어 자연스럽고 부드러운 분포 이동을 구현하였다.
• 모델이 이전 모든 데이터를 학습하고 다음 시간대의 데이터를 테스트하는 방식으로, 인위적인 iid 분할을 피하는 '스트리밍' 평가 프로토콜을 제안하였다.
• 기존의 CL 기반 모델들(LwF, GDumb 등)과 새로운 전략들(예: 편향된 리저보아 샘플링, 비지도 사전학습)을 iid 및 스트리밍 프로토콜 모두에서 평가하였다.
• 버킷 0에서 사전학습된 자기지도 표현인 YFCC-B0를 사용하여 선형 헤드를 미세조정하고, 지속적 학습에서의 성능 향상을 평가하였다.

실험 결과

연구 질문

• RQ1 표준 iid 평가 프로토콜이 아닌 실제 스트리밍 조건에서 평가할 경우, 최신 지속적 학습 알고리즘의 성능은 어떻게 저하되는가?
• RQ2 학습 시에 완전히 지도된 데이터만 사용할 경우, 비지도 사전학습이 지속적 학습 성능에 얼마나 기여하는가?
• RQ3 실제 이미지에서 시각적 개념의 자연스러운 시간적 진화는 GDumb와 같은 열악한 기반 모델의 성능을 Representation 기반 방법보다 떨어지게 하는가?
• RQ4 모든 이전 데이터를 학습에 사용하고 다음 시간대의 데이터를 테스트하는 스트리밍 평가 프로토콜은 더 정확하고 일반화 능력이 뛰어난 성능 추정을 가능하게 하는가?
• RQ5 최근 데이터를 더 높은 확률로 선택하는 편향된 리저보아 샘플링은 실제 시간적 이동이 발생하는 환경에서 지속적 학습 성능에 어떤 영향을 미치는가?

주요 결과

• 기존의 표준 iid 평가 프로토콜은 성능을 인위적으로 과대평가하며, 내부 도메인 정확도는 주 대각선에서 90%에 도달하지만, 다음 도메인 정확도(다음 시간대에서 테스트)는 82%로 떨어진다.
• YFCC-B0 표현을 사용한 비지도 사전학습은 내부 도메인 정확도를 91.9%로, 다음 도메인 정확도를 91.4%로 향상시켜 완전히 지도된 SOTA 방법을 초월한다.
• GDumb는 각 작업마다 다시 학습하는 열악한 기반 모델이지만, CLEAR에서는 성능이 열악하게 나타나, 부드러운 시간적 진화는 지속적 표현 학습을 선호한다는 점을 시사한다.
• 최근 데이터를 더 높은 확률로 선택하는 편향된 리저보아 샘플링은 비편향 샘플링보다 성능 향상을 이룬다. 아블레이션 연구에서 최적의 성능은 알파 = 0.8에서 달성되었다.
• 100%의 이전 데이터를 학습에 사용하고 다음 시간대의 데이터를 테스트하는 스트리밍 프로토콜은 기존의 iid 분할보다 더 정확하고 일반화 능력이 뛰어난 성능 추정을 가능하게 한다.
• 벤치마크의 자연스러운 시간적 진화 덕분에 분포 외 일반화가 가능해졌으며, 스트리밍 프로토콜로 학습한 모델는 iid 가정 하에 학습한 모델보다 미래 데이터에 더 잘 일반화된다.