[논문 리뷰] Exploring Example Influence in Continual Learning

Qing Sun, Fan Lyu외 3명|arXiv (Cornell University)|2022. 09. 25.

Domain Adaptation and Few-Shot Learning인용 수 15

한 줄 요약

이 논문은 히essen 행렬의 역행렬을 계산하지 않고 영향 함수를 시뮬레이션함으로써 지속적 학습에서 안정성(S)과 유연성(P)에 대한 예측 예측의 영향을 계산하는 메타학습 알고리즘인 MetaSP를 제안한다. 이 알고리즘은 이중 목적 최적화를 통해 S-aware 및 P-aware 영향을 융합하여 SP 파레토 최적성을 달성하며, 모델 업데이트 및 재현 메모리 선택을 향상시킨다. 이는 태스크 인크리멘탈 및 클래스 인크리멘탈 벤치마크에서 최신 기술을 초월한다.

ABSTRACT

Continual Learning (CL) sequentially learns new tasks like human beings, with the goal to achieve better Stability (S, remembering past tasks) and Plasticity (P, adapting to new tasks). Due to the fact that past training data is not available, it is valuable to explore the influence difference on S and P among training examples, which may improve the learning pattern towards better SP. Inspired by Influence Function (IF), we first study example influence via adding perturbation to example weight and computing the influence derivation. To avoid the storage and calculation burden of Hessian inverse in neural networks, we propose a simple yet effective MetaSP algorithm to simulate the two key steps in the computation of IF and obtain the S- and P-aware example influence. Moreover, we propose to fuse two kinds of example influence by solving a dual-objective optimization problem, and obtain a fused influence towards SP Pareto optimality. The fused influence can be used to control the update of model and optimize the storage of rehearsal. Empirical results show that our algorithm significantly outperforms state-of-the-art methods on both task- and class-incremental benchmark CL datasets.

연구 동기 및 목표

• 지속적 학습에서 개별 학습 예측이 안정성(S)과 유연성(P)에 어떻게 다르게 영향을 미치는지 조사하기 위해.
• 신경망에서 히essen 행렬의 역행렬을 계산하는 데 기인한 기존 영향 함수의 계산 부담을 줄이기 위해.
• S 및 P-aware 예측 영향을 융합하여 SP 파레토 최적성을 달성하는 방법을 개발하여 지속적 학습 성능을 향상시키기 위해.
• 융합된 영향을 사용하여 모델 업데이트를 제어하고 재현 메모리 선택을 최적화하기 위해.

제안 방법

• MetaSP는 히essen 역행렬을 계산하지 않고도 영향을 추정하기 위해 예측 수준의 편향을 가진 가짜 업데이트를 사용한다.
• 두 개의 볼록 집합(검증 세트)을 이전 데이터에서 샘플링하여, 각각 S-aware 및 P-aware 영향 점수를 유도한다.
• 이중 목적 최적화(DOO) 문제를 수립하여 S와 P 영향 간의 균형을 맞추며, MGDA 알고리즘을 통해 SP 파레토 최적 해를 달성한다.
• 융합된 영향을 사용하여 각 예측의 손실 업데이트를 가중치화함으로써 영향 인식 모델 훈련을 가능하게 한다.
• 고정된 메모리 예산 하에서 융합된 영향은 재현 선택을 안내하며, 높은 양의 SP 영향을 가진 예측을 우선순위로 정한다.
• 이 방법은 재현 기반 CL 프레임워크 내에서 적용되며, 최종 훈련 에포크 동안에만 MetaSP 사용을 제한함으로써 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 지속적 학습에서 개별 학습 예측이 안정성과 유연성에 어떻게 다르게 기여하는가?
• RQ2 딥 네트워크에서 히essen 행렬의 역행렬을 계산하지 않고도 S와 P에 대한 예측 영향을 효율적으로 추정할 수 있는가?
• RQ3 S와 P 영향 간의 최적의 트레이드오프를 어떻게 달성하여 균형 잡힌 파레토 최적 학습 패턴을 얻을 수 있는가?
• RQ4 융합된 예측 영향은 지속적 학습에서 모델 업데이트 및 재현 메모리 선택을 향상시킬 수 있는가?

주요 결과

• MetaSP는 태스크 인크리멘탈 및 클래스 인크리멘탈 CL 벤치마크에서 최신 기술을 크게 능가하며, 더 높은 안정성과 더 안정적인 유연성 성능을 달성한다.
• MetaSP 사용을 오직 5개 에포크로 제한함으로써 훈련 시간을 단축시키면서도 높은 정확도를 유지하며 성능을 향상시켰다.
• 실험 결과, 대부분의 이전 태스크 예측은 안정성에 긍정적 영향을 미치지만 유연성에 부정적 영향을 미치는 것으로 나타났으며, 반대로 새로운 태스크 예측은 반대 경향을 보였다.
• 재현 메모리에 포함된 대부분의 예측은 SP에 대해 양의 총 영향을 가지며, 이는 영향 기반 선택이 지식을 효과적으로 유지함을 시사한다.
• DOO를 통한 융합된 영향은 S 또는 P-aware 영향을 별도로 사용하는 것보다 더 균형 잡힌 SP 트레이드오프를 달성하며, SP 파레토 프론트에 더 가까이 접근한다.
• 이 방법은 예측 영향이 모델 업데이트 및 재현 선택을 안내하는 데 사용될 수 있음을 보여주며, 전체 지속적 학습 성능을 향상시킨다.