[논문 리뷰] Lifelong Learning with Sketched Structural Regularization

Haoran Li, Aditya Krishnan외 4명|arXiv (Cornell University)|2021. 04. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 38인용 수 4

한 줄 요약

이 논문은 지속적 학습을 위한 구조적 정규화에서 중요도 행렬을 더 잘 근사하기 위해 선형 스케칭을 사용하는 계산적으로 효율적인 방법인 스케치드 구조적 정규화(Sketched SR)를 제안한다. 대각 행렬 근사에서 놓치기 쉬운 비대각항 상호작용을 포착함으로써 스케치드 SR은 치명적 기억상실을 크게 감소시키며, 최소한의 계산 오버헤드로 Permuted-MNIST 및 CIFAR-100 벤치마크에서 대각 SR보다 뛰어난 성능을 보인다.

ABSTRACT

Preventing catastrophic forgetting while continually learning new tasks is an essential problem in lifelong learning. Structural regularization (SR) refers to a family of algorithms that mitigate catastrophic forgetting by penalizing the network for changing its "critical parameters" from previous tasks while learning a new one. The penalty is often induced via a quadratic regularizer defined by an \emph{importance matrix}, e.g., the (empirical) Fisher information matrix in the Elastic Weight Consolidation framework. In practice and due to computational constraints, most SR methods crudely approximate the importance matrix by its diagonal. In this paper, we propose \emph{Sketched Structural Regularization} (Sketched SR) as an alternative approach to compress the importance matrices used for regularizing in SR methods. Specifically, we apply \emph{linear sketching methods} to better approximate the importance matrices in SR algorithms. We show that sketched SR: (i) is computationally efficient and straightforward to implement, (ii) provides an approximation error that is justified in theory, and (iii) is method oblivious by construction and can be adapted to any method that belongs to the structural regularization class. We show that our proposed approach consistently improves various SR algorithms' performance on both synthetic experiments and benchmark continual learning tasks, including permuted-MNIST and CIFAR-100.

연구 동기 및 목표

• 구조적 정규화에서 사용하는 중요도 행렬의 근사 품질을 향상시켜 지속적 학습에서 치명적 기억상실 문제를 해결하기 위해.
• 매개변수 간 상관관계를 간과하는 대각 근사의 한계를 극복하기 위해.
• 기본 아키텍처 변경 없이도 기존의 구조적 정규화 알고리즘을 향상시킬 수 있는 방법에 종속적이지 않은 계산적으로 효율적인 프레임워크를 개발하기 위해.
• 더 나은 중요도 행렬 근사가 표준 벤치마크에서 지속적 학습 성능 향상으로 이어지는지 경험적으로 검증하기 위해.

제안 방법

• 이 방법은 구조적 정규화에서 사용하는 전체 중요도 행렬(예: 경험적 페셔 정보 행렬)을 압축하고 근사하기 위해 선형 스케칭 기법을 적용한다.
• 무작위 투영을 사용하여 중요도 행렬의 저차원 스케치를 구성함으로써, 증명 가능한 근사 보장과 함께 핵심 구조적 성질을 유지한다.
• 새로운 작업에서의 학습 동안 스케치된 행렬을 사용해 이차 정규화 항을 정의하며, 이는 이전 작업의 핵심 매개변수 변화를 억제한다.
• 이 접근 방식은 방법에 종속적이며, EWC나 MAS와 같은 어떤 구조적 정규화 알고리즘에도 핵심 학습 절차를 수정하지 않고 통합될 수 있다.
• 스케치 크기 $ t $ 는 근사 정확도와 계산 비용 사이의 트레이드오프를 조절하며, 작은 $ t $ 값(예: 30–50)이라도 강력한 성능을 보인다.
• 이론적 분석을 통해 스케칭 과정이 전체 중요도 행렬에 대한 유한한 근사 오차를 유지함을 보였다.

실험 결과

연구 질문

• RQ1 선형 스케칭은 구조적 정규화에서 대각 근사보다 중요도 행렬을 더 나은 근사로 제공할 수 있는가?
• RQ2 스케치된 중요도 행렬을 사용할 경우 Permuted-MNIST 및 CIFAR-100과 같은 표준 벤치마크에서 지속적 학습 성능이 향상되는가?
• RQ3 스케치 크기 $ t $ 는 근사 품질과 계산 효율성 사이의 트레이드오프에 어떻게 영향을 미치는가?
• RQ4 스케치드 SR 프레임워크는 다양한 구조적 정규화 방법과 호환되는가?

주요 결과

• Permuted-MNIST에서 스케치드 SR은 EWC를 사용할 경우 89.8%의 평균 정확도를 기록하여 대각 SR의 88.3%를 상회했고, MAS를 사용할 경우 90.4%로 대각 SR의 86.7%를 초월했다.
• CIFAR-100에서 스케치드 SR은 EWC를 사용할 경우 93.6%의 평균 정확도를 기록하여 대각 SR의 90.8%를 상회했고, MAS를 사용할 경우 93.2%로 대각 SR의 89.9%를 상회했다.
• 작은 스케치 크기 $ t = 50 $ 일 때도 스케치드 SR은 대각 SR을 일관되게 뛰어넘었으며, 실용적 효율성과 효과성을 입증했다.
• 합성 작업에서 경험적 페셔 행렬과 비교했을 때 스케치드 SR의 근사 오차는 평균 8.1%에 불과했고, 대비로 대각 근사의 94.7%에 비해 훨씬 낮았다.
• 이 방법은 다양한 아키텍처와 데이터셋에서 강건하며, CIFAR-100에서의 작업 1 및 작업 2 성능 모두에서 일관된 향상을 보였다.
• 이 프레임워크는 계산적으로 효율적이고 확장 가능하며, PCA와 같은 저랭크 근사의 높은 비용을 피하면서도 뛰어난 근사 품질을 달성한다.