[논문 리뷰] Generative replay with feedback connections as a general strategy for continual learning

Gido M. van de Ven, Andreas S. Tolias|Lirias (KU Leuven)|2018. 09. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 37인용 수 184

한 줄 요약

이 논문은 세 가지 지속적 학습 시나리오를 식별하고, distillation을 이용한 생성적 재생(generative replay)과 그 비용 절감 버전인 Replay-through-Feedback가 시나리오 전반에서 정규화 방법을 능가하며, 특히 작업 식별을 추론해야 할 때 더 우수하다는 것을 보여준다.

ABSTRACT

A major obstacle to developing artificial intelligence applications capable of true lifelong learning is that artificial neural networks quickly or catastrophically forget previously learned tasks when trained on a new one. Numerous methods for alleviating catastrophic forgetting are currently being proposed, but differences in evaluation protocols make it difficult to directly compare their performance. To enable more meaningful comparisons, here we identified three distinct scenarios for continual learning based on whether task identity is known and, if it is not, whether it needs to be inferred. Performing the split and permuted MNIST task protocols according to each of these scenarios, we found that regularization-based approaches (e.g., elastic weight consolidation) failed when task identity needed to be inferred. In contrast, generative replay combined with distillation (i.e., using class probabilities as "soft targets") achieved superior performance in all three scenarios. Addressing the issue of efficiency, we reduced the computational cost of generative replay by integrating the generative model into the main model by equipping it with generative feedback or backward connections. This Replay-through-Feedback approach substantially shortened training time with no or negligible loss in performance. We believe this to be an important first step towards making the powerful technique of generative replay scalable to real-world continual learning applications.

연구 동기 및 목표

• 세 가지 독립적 지속적 학습 시나리오를 작업 식별 가능성과 추론 요구에 따라 식별하고 형식화한다.
• 이 시나리오들에서 정규화 기반과 재생 기반 지속적 학습 방법을 비교한다.
• 별도 생성기 없이 주 모델에 생성을 결합하는 비용 효율적 변형(RtF)을 제안하고 평가한다.

제안 방법

• 테스트 시점에서의 작업 식별 가능성에 따라 Task-IL, Domain-IL, Class-IL 시나리오를 정의한다.
• 정규화 방법(EWC, Online EWC, SI)과 재생 방법(LwF, DGR, DGR+distill)을 split MNIST와 permuted MNIST에서 평가한다.
• 상한으로서 오프라인 결합 학습을 비교 대상으로 삼는다.
• 주 네트워크 내부에 생성 모델과 피드백 연결, 잠재층 z를 포함하여 Replay-through-Feedback (RtF)을 도입한다.
• 재생 데이터와 함께 증류 타깃(소프트 타깃)을 사용하고, 현재 및 재생 손실을 지금까지 본 작업 수로 가중한다.
• RtF와 DGR+distill을 동일한 아키텍처로 시연하고, 학습 시간 대비 성능을 측정한다.

실험 결과

연구 질문

• RQ1 다양한 지속적 학습 전략이 Task-IL, Domain-IL, Class-IL 시나리오에서 어떻게 작동하는가?
• RQ2 생성적 재생과 증류가 이러한 시나리오들 전반에서 정규화보다 일관되게 우수한가?
• RQ3 통합적이고 비용 효율적인 아키텍처(RtF)가 표준 생성적 재생의 성능에 맞서거나 이를 능가하면서 학습 시간을 줄일 수 있는가?

주요 결과

• 정규화 방법(EWC, Online EWC, SI)은 작업 식별이 추론되어야 하는 상황(Class-IL)에서 성능이 저하된다.
• 생성적 재생을 사용하는 재생 기반 방법(LwF, DGR, DGR+distill)은 세 가지 시나리오 전반에서 정규화 방법보다 우수하며, 일반적으로 DGR+distill이 DGR보다 우수하다.
• split MNIST와 permuted MNIST 모두에서 RtF는 종종 DGR+distill에 맞먹거나 이를 능가하면서도 학습 시간을 크게 줄인다(많은 경우에 대략 절반 수준으로 감소).
• 작업 전반에 걸쳐 Class-IL은 여전히 가장 도전적이며, 작업 식별이 추론되어야 할 때 재생 기반 방법만이 성능을 유지한다.
• 증류(소프트 타깃)는 재생 샘플 품질에 대한 생성 재생의 강건성을 높여 DGR+distill이 DGR보다 우수한 성능을 발휘하게 한다.