[논문 리뷰] On the Effectiveness of Lipschitz-Driven Rehearsal in Continual Learning

Lorenzo Bonicelli, M. Boschini외 3명|arXiv (Cornell University)|2022. 10. 12.

Domain Adaptation and Few-Shot Learning인용 수 16

한 줄 요약

이 논문은 지속적 학습 중에 신경망의 계층별 리프시츠 상수를 제약하는 정규화 방법인 리프시츠 구동 재현(LiDER)을 제안한다. 이를 통해 결정 경계의 안정성과 버퍼 과적합을 완화시킨다. 입력 변화에 대한 모델 반응의 스무쓰함을 강제함으로써 LiDER는 일반화 성능을 향상시키며, 사전 훈련 여부에 관계없이 CIFAR-10, CIFAR-100, 그리고 Tiny-ImageNet에서 여러 최신의 재현 방법에 대해 일관되게 성능 향상을 이룬다.

ABSTRACT

Rehearsal approaches enjoy immense popularity with Continual Learning (CL) practitioners. These methods collect samples from previously encountered data distributions in a small memory buffer; subsequently, they repeatedly optimize on the latter to prevent catastrophic forgetting. This work draws attention to a hidden pitfall of this widespread practice: repeated optimization on a small pool of data inevitably leads to tight and unstable decision boundaries, which are a major hindrance to generalization. To address this issue, we propose Lipschitz-DrivEn Rehearsal (LiDER), a surrogate objective that induces smoothness in the backbone network by constraining its layer-wise Lipschitz constants w.r.t. replay examples. By means of extensive experiments, we show that applying LiDER delivers a stable performance gain to several state-of-the-art rehearsal CL methods across multiple datasets, both in the presence and absence of pre-training. Through additional ablative experiments, we highlight peculiar aspects of buffer overfitting in CL and better characterize the effect produced by LiDER. Code is available at https://github.com/aimagelab/LiDER

연구 동기 및 목표

• 지속적 학습에서 작은 재현 버퍼에 대한 과적합으로 인해 발생하는 결정 경계 불안정성의 숨겨진 문제를 해결하기 위해.
• 리프시츠 정규화를 통해 예측의 스무쓰함을 강제함으로써 재현 기반 지속적 학습의 일반화 능력과 강건성을 향상시키기 위해.
• 리프시츠 제약가 다양한 재현 방법과 데이터셋 전반에서 체계적으로 성능 향상을 이끌 수 있는지 조사하기 위해.
• 버퍼 과적합의 영향을 분석하고, LiDER가 결정 경계에 미치는 부정적 영향을 완화하는 데 효과적인지 규명하기 위해.
• 기존 재현 프레임워크와 원활하게 통합 가능한 실용적이고 즉시 적용 가능한 정규화 방법을 제공하기 위해.

제안 방법

• LiDER는 재현된 예시에 대해 신경망의 계층별 리프시츠 상수를 제약하는 서브티튜트 목표를 도입한다.
• 완전 연결 및 컨볼루션 계층에서 스펙트럴 정규화를 사용하여 리프시츠 상수의 상한을 추정하고, 전역적으로 1-리프시츠 성질을 강제한다.
• 훈련 중에 손실에 패널티 항을 추가함으로써, 입력 변화 단위당 네트워크 출력의 최대 변화를 제한하는 방식으로 정규화를 적용한다.
• 다양한 재현 방법, 예를 들어 경험 재현(ER), DER++, ER-ACE와의 호환성이 있으며, 사전 훈련 여부에 관계없이 적용 가능하다.
• 표준 정확도와 정밀도 메트릭스, 특히 적대적 공격에 대한 강건성과 최소값의 헤시안 기반 평탄도를 포함한 다양한 평가 지표를 사용하여 평가한다.
• 절단 실험은 고정 타겟 최적화 전략과의 비교를 통해 하이퍼파rameter 민감도 분석을 수행하며, LiDER의 우월성을 확인한다.

실험 결과

연구 질문

• RQ1 재현된 예시에 대해 리프시츠 연속성을 강제하면 지속적 학습에서 결정 경계의 안정성과 일반화 능력이 향상되는가?
• RQ2 LiDER는 고정 타겟 최적화 전략 대비 성능과 강건성 측면에서 어떻게 비교되는가?
• RQ3 LiDER는 버퍼 과적합이 결정 경계에 악영향을 미치는 데 얼마나 효과적으로 대응하는가?
• RQ4 아키텍처 수정 없이 다양한 재현 방법과 데이터셋에 효과적으로 적용 가능한가?
• RQ5 LiDER는 손실 표면의 평탄도와 가중치 변화에 대한 강건성에 어떤 영향을 미치는가?

주요 결과

• LiDER는 사전 훈련 여부에 관계없이 CIFAR-10, CIFAR-100, 그리고 Tiny-ImageNet에서 여러 최신의 재현 방법의 정확도를 일관되게 향상시킨다.
• 손실 함수의 헤시안 고유값의 합을 측정한 결과, LiDER는 더 평탄한 최소값을 생성함으로써 일반화 성능 향상을 나타낸다.
• LiDER로 훈련된 모델은 기준 재현 방법 대비 가중치 변화와 적대적 공격에 대해 훨씬 더 높은 강건성을 보였다.
• 절단 실험 결과, LiDER는 고정 타겟 최적화 전략보다 성능이 뛰어나며, 후자는 유사한 성능 향상을 달성하지 못했다.
• 결정 경계의 시각화 결과, LiDER는 재현된 예제 주변에서 강건성을 유지하는 반면, 기준 방법은 시간이 지남에 따라 날카롭고 악화되는 경향을 보였다.
• LiDER의 성능 향상은 과적합 위험이 가장 높은 작은 메모리 버퍼 환경에서 가장 두드러졌다.