[논문 리뷰] Improving Task-free Continual Learning by Distributionally Robust Memory Evolution

Zhenyi Wang, Li Shen외 4명|arXiv (Cornell University)|2022. 07. 15.

Domain Adaptation and Few-Shot Learning인용 수 10

한 줄 요약

이 논문은 과거 데이터의 진정한 분포와 메모리 데이터 간의 분포 갭을 줄이고, 과적합을 줄이며 정확도를 향상시키기 위해 워샤프스키 경량 유동(Wasserstein gradient flow, WGF)을 사용해 동적으로 메모리 데이터 분포를 진화시키는 분포로버스트 최적화(DRO) 프레임워크를 제안한다. 변화하는 메모리 분포 하에서 최악의 성능을 최소화하기 위해 최적화함으로써, 모델은 망각을 크게 줄이고 적대적 예측에 대한 강건성을 향상시킨다. 이는 PGD 공격에서 기준 모델 대비 4–12% 향상되며, 강력한 Carlini & Wagner 공격 하에서도 성능 유지를 보인다.

ABSTRACT

Task-free continual learning (CL) aims to learn a non-stationary data stream without explicit task definitions and not forget previous knowledge. The widely adopted memory replay approach could gradually become less effective for long data streams, as the model may memorize the stored examples and overfit the memory buffer. Second, existing methods overlook the high uncertainty in the memory data distribution since there is a big gap between the memory data distribution and the distribution of all the previous data examples. To address these problems, for the first time, we propose a principled memory evolution framework to dynamically evolve the memory data distribution by making the memory buffer gradually harder to be memorized with distributionally robust optimization (DRO). We then derive a family of methods to evolve the memory buffer data in the continuous probability measure space with Wasserstein gradient flow (WGF). The proposed DRO is w.r.t the worst-case evolved memory data distribution, thus guarantees the model performance and learns significantly more robust features than existing memory-replay-based methods. Extensive experiments on existing benchmarks demonstrate the effectiveness of the proposed methods for alleviating forgetting. As a by-product of the proposed framework, our method is more robust to adversarial examples than existing task-free CL methods. Code is available on GitHub \url{https://github.com/joey-wang123/DRO-Task-free}

연구 동기 및 목표

• 모델이 고정된 메모리 버퍼를 기억하고 이전 지식을 상실하는 작업 없이 지속적인 학습에서의 메모리 과적합 문제를 해결한다.
• 기존 방법에서 무시되는 과거 전체 데이터의 진정한 분포와 메모리 데이터 간의 분포 갭을 줄인다.
• 변화하는 메모리 분포 하에서 최악의 성능을 최소화함으로써 적대적 예측에 대한 모델의 강건성을 향상시킨다.
• 일반적이고 유연하며 다양한 메모리 업데이트 전략에 확장 가능한 원칙적인 동적 메모리 진화 프레임워크를 개발한다.
• 분포로버스트 최적화를 활용해 메모리 데이터 분포에 대한 높은 불확실성 상황에서도 성능 보장을 확보한다.

제안 방법

• 초기 메모리 분포의 이웃 영역 내에서 진화된 메모리 분포에 대해 worst-case 성능을 최소화하는 동적 DRO 목적함수를 수립한다.
• 워샤프스키 경량 유동(WGF)을 사용해 확률 측도 공간에서 연속적인 과정으로 메모리 진화를 모델링함으로써 무한차원 공간에서의 기울기 기반 최적화를 가능하게 한다.
• 실제 구현을 위한 세 가지 구체적 메모리 진화 방법을 유도한다: 랭제빈 역학(WGF-LD), 스텐 변분 기울기 강하(WGF-SVGD), 하이퍼볼릭 유동(WGF-HMC).
• 망각 측정과 분포 거리의 조합으로 이루어진 에너지 기능을 정의하여, 메모리 데이터의 진화를 과거 데이터의 정적 분포로 유도한다.
• 무한차원 최적화 문제를 연속적인 동역학을 통해 확률 측도 공간에서의 함수 기울기 강하를 사용해 해결한다.
• 기본 경험 재생(ER) 또는 메모리 증분 재생(MIR) 프레임워크에 진화된 메모리를 통합하여 학습에 활용한다.

실험 결과

연구 질문

• RQ1 DRO를 통한 동적 메모리 분포 진화는 작업 없이 지속적인 학습에서 치명적인 망각을 상당히 줄일 수 있는가?
• RQ2 변화하는 메모리 분포 하에서 최악의 성능을 최소화함으로써 적대적 예측에 대한 강건성이 향상되는가?
• RQ3 메모리 데이터와 전체 데이터 분포 간의 분포 갭은 지속적인 학습에서 모델 일반화에 어떤 영향을 미치는가?
• RQ4 WGF 기반 메모리 진화는 기억을 방지하는 더 어려운, 더 다양한 메모리 샘플을 생성할 수 있는가?
• RQ5 다양한 WGF 기반 진화 전략(예: LD, SVGD, HMC) 간의 성능 및 강건성은 어떻게 비교되는가?

주요 결과

• 제안된 방법은 CIFAR-10, CIFAR-100, Mini-ImageNet에서 PGD ℓ∞ 공격에서 표준 경험 재생(ER) 대비 4%–12% 향상된 성능을 보였다.
• 강력한 Carlini & Wagner 공격 하에서 ER 기준 모델의 정확도는 0%로 떨어지지만, 제안된 방법은 각각 CIFAR-10, CIFAR-100, Mini-ImageNet에서 6.1%, 3.0%, 3.1%의 정확도를 유지했다.
• WGF-HMC와 WGF-LD는 WGF-SVGD보다 우수한 강건성을 보였으며, 이는 입력 공간의 더 나은 탐색과 더 어려운 예제 생성 덕분으로 보인다.
• 더 많은 진화 단계를 거칠수록 성능이 약간 향상되었으며, 효율성과 효과성의 균형을 고려해 5단계를 선택하였다.
• 메모리 버퍼 크기가 3000–10000 범위에서 다양한 경우에 걸쳐 일관된 성능 향상을 유지하였으며, WGF-LD와 WGF-HMC는 ER 및 MIR 기준 모델 대비 평균 2–3% 향상된 성능을 보였다.
• 표준 ER 대비 계산 비용은 3–4배 높지만, 향후 효율성 향상에 대비해 일반적이고 확장 가능한 프레임워크를 제공한다.