[논문 리뷰] SOLA: Continual Learning with Second-Order Loss Approximation.

Dong Yin, Mehrdad Farajtabar외 1명|arXiv (Cornell University)|2020. 06. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 58인용 수 14

한 줄 요약

이 논문은 원래 작업 손실 함수의 두 번째 차수 테일러 근사값을 사용하여 원시 데이터나 기울기를 저장하지 않고도 치명적인 잊음( catastrophic forgetting)을 완화하는 지속적 학습 방법인 SOLA를 제안한다. 손실 곡면을 근사화함으로써 SOLA는 기밀성을 유지하면서도 효과적인 순차적 학습을 가능하게 하며, 표준 벤치마크에서 여러 베이스라인을 능가한다.

ABSTRACT

Neural networks have achieved remarkable success in many cognitive tasks. However, when they are trained sequentially on multiple tasks without access to old data, it is observed that their performance on old tasks tend to drop significantly after the model is trained on new tasks. Continual learning aims to tackle this problem often referred to as catastrophic forgetting and to ensure sequential learning capability. We study continual learning from the perspective of loss landscapes and propose to construct a second-order Taylor approximation of the loss functions in previous tasks. Our proposed method does not require any memorization of raw data or their gradients, and therefore, offers better privacy protection. We theoretically analyze our algorithm from an optimization viewpoint and provide a sufficient and worst-case necessary condition for the gradient updates on the approximate loss function to be descent directions for the true loss function. Experiments on multiple continual learning benchmarks suggest that our method is effective in avoiding catastrophic forgetting and in many scenarios, outperforms several baseline algorithms that do not explicitly store the data samples.

연구 동기 및 목표

• 새로운 작업에 대해 훈련할 때 이전 작업에서 성능이 저하되는 지속적 학습에서 치명적인 잊음을 해결하기 위해.
• 원시 데이터나 기울기를 저장하지 않음으로써 기밀성을 향상시키는 방법을 개발하기 위해.
• 손실 곡면 근사화를 이용해 제안된 방법의 최적화 성질을 이론적으로 분석하기 위해.
• 근사 손실 함수에 대한 기울기 갱신이 진짜 손실 함수에 대해 내림방향이 되는 충분조건과 최악의 경우 필수 조건을 제공하기 위해.
• 다양한 지속적 학습 벤치마크에서 제안된 방법의 효과성을 경험적으로 검증하기 위해.

제안 방법

• 현재 모델 가중치를 중심으로 이전 작업의 손실 함수에 대해 두 번째 차수 테일러 전개를 구성한다.
• 헤시안 정보를 사용하여 과거 작업 손실의 곡률을 근사함으로써, 모델이 이전 작업의 최적화 곡면을 '기억'할 수 있도록 한다.
• 이 근사값을 새로운 작업 훈련 중 정규화 항으로 사용하여, 이전 작업의 성능을 해칠 수 있는 큰 갱신을 피하도록 모델을 이끌어낸다.
• 원시 데이터 샘플이나 그 기울기를 저장할 필요가 없기 때문에 데이터 기밀성이 향상된다.
• 이론적 분석을 통해 특정 조건 하에서 근사 손실 함수에 대한 갱신이 진짜 손실 함수에 대해 내림방향이 되는 것을 보장한다.
• 새로운 작업 훈련 중에 현재 작업 손실과 근사된 과거 작업 손실을 결합함으로써 방법을 적용한다.

실험 결과

연구 질문

• RQ1 과거 작업 손실 함수의 두 번째 차수 근사는 지속적 학습에서 치명적인 잊음을 효과적으로 방지할 수 있는가?
• RQ2 제안된 방법은 원시 데이터나 기울기를 저장하지 않으면서도 이전 작업의 성능을 유지하는가?
• RQ3 근사 손실 함수에 대한 기울기 갱신이 진짜 손실 함수에 대해 내림방향이 되는 조건는 무엇인가?
• RQ4 기존의 지속적 학습 베이스라인과 비교할 때 정확도와 잊음 감소 측면에서 어떻게 성능을 내는가?
• RQ5 데이터 기억화 없이 다양한 지속적 학습 벤치마크에서 뛰어난 성능을 달성할 수 있는가?

주요 결과

• SOLA는 다양한 지속적 학습 벤치마크에서 치명적인 잊음을 효과적으로 감소시키며, 이전 작업에 대해 강력한 일반화 성능을 보였다.
• 원시 데이터 샘플을 명시적으로 저장하지 않는 여러 베이스라인 알고리즘과 비교해, 특히 작업 유사도가 높은 환경에서 뛰어난 성능을 보였다.
• 이론적 분석을 통해 근사 손실 함수에 대한 기울기 갱신이 충분 조건과 최악의 경우 필수 조건 하에서 진짜 손실 함수에 대해 내림방향이 되는 것으로 확인되었다.
• 데이터 저장을 피하기 때문에, 재생 또는 기울기 저장에 의존하는 방법보다 더 나은 기밀성 보호를 제공한다.
• 경험적 결과는 두 번째 차수 근사가 중요한 곡률 정보를 포착함으로써 더 안정적이고 효과적인 지속적 학습을 가능하게 한다는 것을 보여주었다.
• 표준 벤치마크에서 최첨단 지속적 학습 접근법과 비교해 경쟁력 있거나 더 뛰어난 성능을 달성했다.