[논문 리뷰] Coresets via Bilevel Optimization for Continual Learning and Streaming

Zalán Borsos, Mojmír Mutný외 1명|arXiv (Cornell University)|2020. 06. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 61인용 수 78

한 줄 요약

논문은 소형 라벨링 데이터 코어셋을 구성하기 위한 bilevel-optimization 프레임워크를 도입하여 지속 학습 및 스트리밍에서 효과적으로 신경망을 학습시키고, 탐욕적 매칭-추적(greedy matching-pursuit) 접근법과 심층 모델로 확장하기 위한 프록시 RKHS/NTK 형식을 제시한다.

ABSTRACT

Coresets are small data summaries that are sufficient for model training. They can be maintained online, enabling efficient handling of large data streams under resource constraints. However, existing constructions are limited to simple models such as k-means and logistic regression. In this work, we propose a novel coreset construction via cardinality-constrained bilevel optimization. We show how our framework can efficiently generate coresets for deep neural networks, and demonstrate its empirical benefits in continual learning and in streaming settings.

연구 동기 및 목표

• 온라인 데이터 도착 및 메모리 제약 하에서 지속 학습 및 스트리밍에서 정확한 모델을 유지하기 위한 코어셋의 활용 동기화.
• 카디널리티 제약이 있는 bilevel optimization 기반의 일반적인 코어셋 구성 프레임워크 제안.
• 프록시 모델과 RKHS/NTK 형식을 통해 심층 신경망의 효율적 코어셋 생성을 가능하게 함.
• 재생 메모리 기반의 지속 학습 및 스트리밍 시나리오에서 제안된 코어셋의 실험적 이득을 시연함.

제안 방법

• 내부 문제는 규제 손실을 최소화하고, 외부 문제는 내부 해의 손실을 최소화하는 카디널리티 제약이 있는 bilevel optimization 문제로 코어셋 선택을 형식화한다.
• 외부 목적함수를 가장 많이 감소시키는 데이터를 순차적으로 추가하는 로컬 내부 해와 암시적 그래디언트 계산을 사용하는 탐욕적 순방향(매칭-추적) 접근으로 bilevel 문제를 풀이한다.
• 대형 Hessian 역행렬 계산을 피하기 위해 재생 커널 힐베르트 공간(RKHS) 내에서 프록시 모델을 사용하여 신경망 학습 시 확장 가능한 외부 루프 최적화를 가능하게 한다.
• 코어셋 크기인 내부 문제에 의존하는 해가 최대 m 데이터 포인트에 국한되도록 Representer-정리 기반 축소를 사용한다.
• 메서드를 영향 함수 및 실험 설계와 연결하여 선택 기준의 직관과 볼록 경우의 수렴성에 대한 이론적 근거를 제공한다.

실험 결과

연구 질문

• RQ1 bilevel-optimization 형식이 신경망과 같은 복잡한 모델 학습에 효과적이고 작은 코어셋을 도출할 수 있는가?
• RQ2 카타고리적 망각(catastrophic forgetting) 없이 지속 학습 및 스트리밍을 지원하기 위해 온라인에서 작은 데이터 하위 집합을 어떻게 효율적으로 선택할 수 있는가?
• RQ3 이 설정에서 탐욕적 매칭-추 Pursuit 스타일의 코어셋 선택의 이론적 및 경험적 특성(수렴성, 성능)은 무엇인가?
• RQ4 프록시 RKHS/NTK 형식이 심층 네트워크를 위한 코어셋 구성의 실용성 및 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 프레임워크는 재생 메모리 기반의 지속 학습 및 스트리밍에서 여러 기준선과 비교하여 대표적인 코어셋을 얻고 성능을 향상시킨다.
• 로컬 내부 해와 암시적 그래디언트를 갖춘 탐욕적 매칭-추 Pursuit 방법은 카디널리티 제약이 있는 bilevel 문제에 실용적 해를 제공한다.
• RKHS/NTK를 이용한 프록시 형식은 신경망의 코어셋 생성을 확장 가능하게 하며 외부 루프 계산을 크게 가속화한다(예: NTK 프록시를 이용).
• 본 방법은 지속 학습 벤치마크(PermMNIST, SplitMNIST, SplitCIFAR-10) 및 스트리밍 시나리오에서 경쟁력 있는 또는 우수한 성능을 보여주며 비율이 다른 스트림에서도 강건하다.
• 이 접근법은 Bayesian 실험 설계 및 경험적 영향 함수와의 연결을 확립하여 코어셋 선택 전략의 이론적 근거를 제공한다.