[논문 리뷰] Exploring Continual Learning of Diffusion Models

Michał Zając, Kamil Rafał Deja외 5명|arXiv (Cornell University)|2023. 03. 27.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 확산 모델에서 지속적 학습(Continual Learning, CL)을 연구하는 데에 선구적인 기여를 하였으며, 복구 계수를 감소시킨 경험 재생(Experience Replay)이 치명적 잊음(Catastrophic Forgetting)을 효과적으로 완화함을 보여주었다. 이는 표준 비트당 차원 수(Bits-per-Dimension, BPD) 지표가 잊음의 정도를 잘 반영하지 못하며, 특히 초기 노이즈 제거 단계에서 발생하는 시간에 따라 달라지는 과적합(Overfitting)이 성능을 저하시키고 있음을 밝혀내었으며, 이는 확산 모델에서의 CL에 있어 신중한 하이퍼파rameter 조정이 필요함을 시사한다.

ABSTRACT

Diffusion models have achieved remarkable success in generating high-quality images thanks to their novel training procedures applied to unprecedented amounts of data. However, training a diffusion model from scratch is computationally expensive. This highlights the need to investigate the possibility of training these models iteratively, reusing computation while the data distribution changes. In this study, we take the first step in this direction and evaluate the continual learning (CL) properties of diffusion models. We begin by benchmarking the most common CL methods applied to Denoising Diffusion Probabilistic Models (DDPMs), where we note the strong performance of the experience replay with the reduced rehearsal coefficient. Furthermore, we provide insights into the dynamics of forgetting, which exhibit diverse behavior across diffusion timesteps. We also uncover certain pitfalls of using the bits-per-dimension metric for evaluating CL.

연구 동기 및 목표

• 지속적 학습이 계산적으로 복잡한 확산 모델에서 실현 가능하고 어떤 과제를 수반하는지 조사하기 위해.
• 특히 경험 재생을 포함한 기존 지속적 학습 방법들을 노이즈 제거 확산 확률 모델(Denoising Diffusion Probabilistic Models, DDPMs)에 대해 벤치마킹하기 위해.
• 다양한 확산 시간단계에서의 잊음 역학을 분석하고, 비트당 차원 수(BPD)와 같은 표준 평가 지표의 한계를 규명하기 위해.
• 경험 재생에서 발생하는 시간에 따라 달라지는 과적합 등의 구조적 문제를 밝혀내고 이를 완화하기 위한 전략을 제안하기 위해.
• 특히 텍스트-이미지 및 미리 학습된 아키텍처를 위한 향후 연구 기반을 마련하기 위해.

제안 방법

• MNIST 및 Fashion-MNIST 데이터셋을 사용하여 DDPMs를 기반으로 일반적인 지속적 학습 방법(예: 미세조정 및 경험 재생)을 벤치마킹하였다.
• 기억된 버퍼 샘플의 영향력을 조절하기 위해 다양한 복구 계수를 가진 경험 재생을 적용하였다.
• 각 시간단계에서 예측된 노이즈와 진짜 노이즈 간의 평균 제곱오차를 최소화하는 단순화된 DDPM 학습 손실(식 3)을 사용하였다.
• 랜덤 샘플링을 통한 데이터, 노이즈 및 시간단계의 최적화를 위해 확률적 경사 하강법을 사용하여 로그우도의 변분 하한을 최적화하였다.
• 지속적 학습 후 이전 작업의 성능 저하를 측정하고 시간 경과에 따른 샘플 품질을 시각화함으로써 잊음 역학을 분석하였다.
• 초기(예: t=50) 및 후기(예: t=700) 시간단계에서 손실 및 생성 품질을 평가하여 확산 시간단계가 과적합에 미치는 영향을 조사하였다.

실험 결과

연구 질문

• RQ1 경험 재생이 지속적 학습 중 확산 모델에서 치명적 잊음을 효과적으로 방지할 수 있는가?
• RQ2 잊음은 다양한 확산 시간단계에서 어떻게 나타나며, 심각도가 다를까?
• RQ3 비트당 차원 수(BPD) 지표가 지속적 학습에서 실제 생성 성능 저하를 반영하지 못하는 이유는 무엇인가?
• RQ4 확산 모델의 경험 재생에서 시간에 따라 달라지는 과적합은 무엇으로 인해 발생하며, 어떻게 완화할 수 있는가?
• RQ5 노이즈 제거 및 생성 단계를 포함한 DDPM의 구조적 특성이 지속적 학습 역학에 어떻게 영향을 미치는가?

주요 결과

• 복구 계수를 감소시킨 경험 재생(예: 0.01)이 표준 미세조정보다 유의미하게 우수하며, DDPM에서 치명적 잊음을 방지한다.
• BPD 지표는 생성 능력이 완전히 상실된 상태에서도 최소한의 악화를 보였으며, 이는 확산 모델에서 지속적 학습 성능 평가의 좋은 지표가 되지 못한다는 것을 시사한다.
• 경험 재생 버퍼에 대한 과적합은 주로 초기 확산 시간단계(예: t=50)에서 발생하였으며, 이 시점에서 버퍼 데이터의 손실이 급격히 감소하였다. 반면 후기 시간단계(예: t=700)에서는 높은 노이즈 수준이 정규화 역할을 하여 과적합이 발생하지 않았다.
• 로그우도와 모델 품질에 가장 큰 기여를 하는 초기 시간단계는 잊음에 가장 취약하며, 이는 BPD가 비록 안정되어 있어도 샘플 품질이 악화되는 이유를 설명한다.
• 시간에 따라 달라지는 과적합은 초기 시간단계에서 손실 성분의 크기가 크고, 후기 시간단계에서는 노이즈 정규화가 없어 과적합이 방지되기 때문에 발생한다.
• 복구 계수를 감소시키는 것은 과적합을 효과적으로 완화하고 전체 생성 성능을 향상시키며, 이는 확산 모델에서의 지속적 학습에 있어 하이퍼파rameter 조정의 중요성을 강조한다.