[논문 리뷰] Posterior Meta-Replay for Continual Learning

Christian Henning, Maria R. Cervera외 7명|Zurich Open Repository and Archive (University of Zurich)|2021. 03. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 98인용 수 4

한 줄 요약

이 논문은 근사 오차가 누적되는 재귀적 베이지안 업데이트를 피하기 위해 공유된 확률적 하이퍼넷워크를 통해 작업별 사후 분포를 학습하는 베이지안 지속적 학습 프레임워크인 사후 메타리플레이를 제안한다. 표준 벤치마크에서 거의 잊히지 않는 성능을 달성하며, 이전에 초점을 맞춘 베이지안 방법들을 능가한다. 예측 불확실성에 의한 작업 추론이 주요 성능 저하 요인으로 규명되었다.

ABSTRACT

Learning a sequence of tasks without access to i.i.d. observations is a widely studied form of continual learning (CL) that remains challenging. In principle, Bayesian learning directly applies to this setting, since recursive and one-off Bayesian updates yield the same result. In practice, however, recursive updating often leads to poor trade-off solutions across tasks because approximate inference is necessary for most models of interest. Here, we describe an alternative Bayesian approach where task-conditioned parameter distributions are continually inferred from data. We offer a practical deep learning implementation of our framework based on probabilistic task-conditioned hypernetworks, an approach we term posterior meta-replay. Experiments on standard benchmarks show that our probabilistic hypernetworks compress sequences of posterior parameter distributions with virtually no forgetting. We obtain considerable performance gains compared to existing Bayesian CL methods, and identify task inference as our major limiting factor. This limitation has several causes that are independent of the considered sequential setting, opening up new avenues for progress in CL.

연구 동기 및 목표

• 지속적 학습에서 재귀적 베이지안 업데이트의 한계를 해결하기 위해, 근사 오차가 누적되고 작업 성능 간의 트레이드오���이 발생하는 문제를 해결한다.
• 단일 통합 사후 분포가 아닌, 각 작업에 맞는 고유한 사후 분포를 학습하는 베이지안 지속적 학습 프레임워크를 개발한다.
• 작업 식별 정보를 조건으로 삼는 공유된 메타모델을 통해 효과적인 지식 압축과 유지 구현을 가능하게 한다.
• 특히 클래스 인크리멘탈 학습 설정에서, 작업에 종속되지 않는 추론에서 예측 불확실성의 역할을 조사한다.
• 성능 저하의 주요 원인을 규명하고 분석하며, 이는 핵심 CL 메커니즘보다는 추론 구성 요소에 기인한 것으로 밝혀졌다.

제안 방법

• 모델은 공유된 메타모델을 사용하여 작업 조건부 확률적 하이퍼넷워크를 통해 네트워크 가중치에 대한 작업별 사후 분포를 모델링한다.
• 이전 작업의 사후 분포 매개변수를 재생하는 정규화 항을 도입하여 메타학습 수준에서의 기억 상실을 방지한다.
• 각 작업의 사후 분포를 독립적으로 학습함으로써 재귀적 베이지안 업데이트를 회피함으로써 오차 전파를 제거한다.
• 생성 모델링 없이, 베이지안 모델의 원칙적인 불확실성 추정치를 활용해 테스트 시점에서 작업 식별 정보를 추론한다.
• 각 작업에 대해 자유롭게 선택한 사전 분포를 통해 지식 전이를 명시적으로 제어할 수 있으며, 사전 분포 설정을 이전 작업의 사후 분포와 분리할 수 있다.
• 표준 지속적 학습 벤치마크에서 평가되었으며, 이전에 초점을 맞춘 베이지안 기준 모델과의 성능 비교가 이루어졌다.

실험 결과

연구 질문

• RQ1 작업별 사후 분포를 학습하는 베이지안 지속적 학습 프레임워크가, 재귀적이고 사전 중심의 베이지안 방법보다 기억 상실과 정확도 측면에서 우월한가?
• RQ2 테스트 시 작업 식별 정보가 제공되지 않을 경우, 예측 불확실성은 작업에 종속되지 않는 추론을 얼마나 효과적으로 가능하게 하는가?
• RQ3 제안된 프레임워크에서 성능 저하의 주요 원인은 무엇이며, 이는 CL 메커니즘 자체의 본질적 한계인지, 또는 추론 구성 요소와 관련이 있는가?
• RQ4 공유된 하이퍼넷워크를 통한 지식 압축이 순차적 작업 간에 높은 성능을 유지하면서 의미 있는 기억 상실 없이 가능할 수 있는가?
• RQ5 각 작업에 대해 독립적인 사전 분포 설정이 가능해짐으로써, 유연성과 안정성의 트레이드오프를 어떻게 해소할 수 있는가?

주요 결과

• 제안된 사후 메타리플레이 프레임워크는 표준 지속적 학습 벤치마크에서 거의 잊히지 않는 성능을 달성하며, 기존의 베이지안 지속적 학습 방법들을 크게 능가한다.
• 특히 클래스 인크리멘탈 학습 설정에서 기존의 사전 중심 베이지안 기준 모델 대비 성능 향상이 뚜렷하다.
• 성능 저하의 주요 원인은 핵심 지속적 학습 메커니즘이 아니라 테스트 시점의 작업 추론임이 규명되었다.
• 작업 추론의 한계는 근사 추론, 아키텍처, 불확실성 측정 방법, 사전 분포의 조합으로 인한 것으로 분석되며, 이는 순차적 학습 설정과는 독립적인 요소들이다.
• 사전 분포에 대한 명시적 제어가 가능함으로써 지식 전이가 향상되고, 재귀적 베이지안 업데이트에서 발생하는 안정성-유연성 트레이드오프를 피할 수 있음을 입증하였다.
• 사후 재생을 통한 정규화가 메타레벨에서 기억 상실을 효과적으로 방지하며, 하나의 하이퍼넷워크에 다수의 작업 사후 분포를 안정적으로 압축하는 데 기여한다.