[논문 리뷰] ACIL: Analytic Class-Incremental Learning with Absolute Memorization and Privacy Protection

Huiping Zhuang, Zhenyu Weng외 4명|arXiv (Cornell University)|2022. 05. 30.

Domain Adaptation and Few-Shot Learning인용 수 11

한 줄 요약

ACIL은 과거 지식을 저장하지 않고도 절대적 기억을 달성하는 분석적 계층적 증분 학습 방법을 제안하며, 기록된 역사적 데이터 없이도 데이터 프라이버시를 보장하면서도 공동 학습 성능에 맞추어진다. 이는 재귀적 선형 학습과 특징 확장을 통해 대규모 증분 단계에서 정확도를 유지하며, 25단계 및 50단계 설정에서 최신 기술을 능가한다.

ABSTRACT

Class-incremental learning (CIL) learns a classification model with training data of different classes arising progressively. Existing CIL either suffers from serious accuracy loss due to catastrophic forgetting, or invades data privacy by revisiting used exemplars. Inspired by linear learning formulations, we propose an analytic class-incremental learning (ACIL) with absolute memorization of past knowledge while avoiding breaching of data privacy (i.e., without storing historical data). The absolute memorization is demonstrated in the sense that class-incremental learning using ACIL given present data would give identical results to that from its joint-learning counterpart which consumes both present and historical samples. This equality is theoretically validated. Data privacy is ensured since no historical data are involved during the learning process. Empirical validations demonstrate ACIL's competitive accuracy performance with near-identical results for various incremental task settings (e.g., 5-50 phases). This also allows ACIL to outperform the state-of-the-art methods for large-phase scenarios (e.g., 25 and 50 phases).

연구 동기 및 목표

• 기존의 역사적 데이터 재생을 기반으로 하지 않고 재난적 기억 상실을 해결하기 위한 계층적 증분 학습(CIL)의 문제를 해결한다.
• 증분 학습 중 과거 샘플의 저장 또는 재접근을 제거함으로써 데이터 프라이버시를 보장한다.
• 절대적 기억을 달성하며, ACIL을 통한 증분 학습 결과가 모든 데이터를 사용한 공동 학습과 동일한 결과를 낸다.
• 특히 도전적인 25단계 및 50단계 설정에서 대규모 증분 단계 동안 높은 정확도를 유지한다.
• 재생 기반 및 정규화 기반 CIL 방법의 대안으로 이론적으로 기반을 두고 메모리 효율적인 방법을 제공한다.

제안 방법

• ACIL은 특징 표현에 대한 선형 회귀를 사용하여 증분 학습을 재귀적 분석 학습 과정으로 공식화한다.
• 선형 공식화에서의 과소적합을 완화하기 위해 특징 확장(FE) 모듈을 도입하여 특징 차원을 증가시킨다.
• 초기화 파라미터 γ를 가진 정규화 항을 적용하여 학습 안정성과 일반화 성능을 향상시킨다.
• 원시 데이터 대신 과거 지식을 나타내는 단순한 행렬 Rk만 저장함으로써 프라이버시 보호를 실현한다.
• 재귀적 업데이트 규칙은 각 단계 이후 모델 파라미터가 그 시점까지의 모든 데이터를 사용한 공동 학습 결과와 동일하게 유지됨을 보장한다.
• 이론적으로 절대적 기억을 달성함을 증명하였으며, 이는 과거 클래스에 대한 모델 출력이 공동 학습과 동일하다는 것을 의미한다.

실험 결과

연구 질문

• RQ1 기존 역사적 데이터를 저장하지 않고도 과거 지식을 절대적으로 기억할 수 있는 계층적 증분 학습 방법이 가능한가?
• RQ2 기존의 역사적 데이터 접근 없이도 대규모 증분 단계(예: 25단계 또는 50단계)에서 성능 저하 없이 높은 정확도를 유지할 수 있는가?
• RQ3 과거 데이터의 접근 또는 저장 없이도 데이터 프라이버시를 보장할 수 있는가?
• RQ4 기존의 재생 기반 및 정규화 기반 CIL 방법과 비교할 때 제안된 분석적 학습 공식화는 정확도와 안정성 측면에서 어떻게 다른가?
• RQ5 특징 확장과 정규화의 모델 성능 및 강건성에 미치는 영향은 무엇인가?

주요 결과

• ACIL은 모든 증분 단계에서 공동 학습과 거의 동일한 정확도를 달성하여 절대적 기억을 입증한다.
• ImageNet-Full에서 50단계 CIL을 수행한 결과, ACIL은 평균 정확도 65.95%를 기록하며 최신 기술을 능가한다.
• CIFAR-100에서 25단계 CIL을 수행한 결과, ACIL은 정확도 65.95%를 달성하며 최신 기술을 상당한 격차로 앞서간다.
• 50단계 ImageNet-Full에서 ACIL의 기억 상실률은 2.75%에 불과하며, LUCIR+Mnemonics의 13.63%에 비해 강력한 안정성을 보여준다.
• 제거 실험 결과, 특징 확장과 정규화가 필수적임을 확인하였으며, 이를 제거할 경우 정확도는 66.30%에서 52.99%로 감소한다.
• ACIL은 지식 저장을 위해 단지 6400만 개의 파라미터(8k×8k 행렬)만 사용하여 ImageNet과 같은 대규모 데이터셋에 대해 메모리 효율적이다.