[논문 리뷰] Task Agnostic Continual Learning Using Online Variational Bayes

Chen Zeno, Itay Golan외 2명|arXiv (Cornell University)|2018. 03. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 44인용 수 70

한 줄 요약

베이지안 그래디언트 디센트(BGD)를 도입하고, 태스크 경계 없이 온라인으로 가중치 사후분포를 업데이트하는 태스크-애그노스틱(cont) continual learning 방법이며 클래스 학습을 위한 레이블 트릭의 이점을 보여준다.

ABSTRACT

Catastrophic forgetting is the notorious vulnerability of neural networks to the change of the data distribution while learning. This phenomenon has long been considered a major obstacle for allowing the use of learning agents in realistic continual learning settings. A large body of continual learning research assumes that task boundaries are known during training. However, research for scenarios in which task boundaries are unknown during training has been lacking. In this paper we present, for the first time, a method for preventing catastrophic forgetting (BGD) for scenarios with task boundaries that are unknown during training --- task-agnostic continual learning. Code of our algorithm is available at https://github.com/igolan/bgd.

연구 동기 및 목표

• unknown task boundaries를 가진 지속적 학습 시나리오를 정의하고 분류합니다.
• 신경망에 대한 태스크-애그노스틱 온라인 베이지안 업데이트 규칙으로 Bayesian Gradient Descent (BGD)를 제시합니다.
• 태스크-애그노스틱 조건에서 클래스 학습 성능을 향상시키는 레이블 트릭을 도입합니다.
• BGD를 연속적 및 이산적 태스크-에 관계없이 실험적으로 평가하고 기존 방법과 비교합니다.

제안 방법

• 네트워크 가중치를 대각 Gaussian 사후분포 q_n(θ|φ)로 반복(iteration) 간에 모델링합니다.
• 온라인 베이즈에서 μ(평균)와 σ(표준편차)의 닫힌 형태의 온라인 업데이트를 단일 명시적 몬테카를로 추정으로 도출합니다.
• ε_i ~ N(0,1)인 재매개변화 θ_i = μ_i + σ_i ε_i를 사용하여 편향되지 않은 기울기(gradient)를 계산합니다.
• 업데이트 규칙: μ_i = m_i − σ_i^2 E[∂L_n/∂θ_i], 및 곡률 유사 항 E[∂L_n/∂θ_i · ε_i]를 포함하는 파생 σ_i 업데이트를 도출합니다.
• K 샘플의 몬테카를로 근사 기대값과 학습률 η로 수렴을 조정합니다.
• 학습률이 불확실성 σ_i 및 손실의 관찰된 곡률에 의존한다는 특성과 성질을 주장하고 이를 보여줍니다.

실험 결과

연구 질문

• RQ1 훈련 및 테스트에서 작업 식별자와 경계가 알려지지 않은 경우 연속 학습을 어떻게 수행할 수 있는가?
• RQ2 온라인 베이지안 업데이트(BGD)가 태스크-애그노스틱 설정에서 태스크 전환 없이도 재앙적 망각을 완화할 수 있는가?
• RQ3 제안된 레이블 트릭이 태스크-애그노스틱 조건에서 클래스 학습 시 성능을 구체적으로 개선하는가?
• RQ4 태스크-애그노스틱 지속적 학습에서 순차적 태스크들에 걸친 가중치 불확실성(σ)의 거동은 어떠한가?

주요 결과

• BGD는 태스크 전환 정보 없이도 연속적 태스크-애그노스틱 시나리오(예: permuted MNIST)에서 높은 평균 정확도를 유지합니다.
• 이산적 태스크-애그노스틱 설정에서 가중치 불확실성은 적은 파라미터 서브셋에 집중되어 있어 태스크 전반에 걸쳐 일부 가중치만이 태스크 관련임을 지지합니다.
• BGD는 이산적 태스크-애그노스틱 설정에서 태스크 전환 정보를 사용하지 않더라도 SI 및 VCL과 동일한 수준의 성능을 보입니다.
• 레이블 트릭은 클래스 학습 성능을 크게 향상시켜 평균 정확도를 여러 기준선에서 Split MNIST 기준으로 약 20%에서 약 50%까지 상승시킵니다.
• 클래스 학습에서 비공유 헤드를 사용하는 경우, 레이블 트릭은 배치 내 기존 레이블에 대해 관련 헤드만 훈련하도록 하여 간섭을 줄여줍니다.