[논문 리뷰] Progressive Memory Banks for Incremental Domain Adaptation

Nabiha Asghar, Lili Mou외 4명|arXiv (Cornell University)|2018. 11. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 41인용 수 10

한 줄 요약

이 논문은 자연어처리(NLP) 분야의 점진적 도메인 적응(Incremental Domain Adaptation, IDA)을 위한 점진적 메모리 백업을 제안한다. 기존의 RNN에 주의 메커니즘 기반 메모리 백업을 추가하여 도메인 별 지식을 저장하고, 새로운 도메인이 도래할 때마다 메모리 슬롯을 점진적으로 확장한다. 미세조정이나 은닉 상태 확장과 달리, 이 방법은 모든 파라미터를 미세조정하면서 치명적인 잊음(catastrophic forgetting)을 최소화하며, 이전 도메인에서의 성능 저하를 최소화하면서 MultiNLI 벤치마크에서 점진적 도메인에 걸쳐 최신 기술 성능을 달성한다.

ABSTRACT

This paper addresses the problem of incremental domain adaptation (IDA) in natural language processing (NLP). We assume each domain comes one after another, and that we could only access data in the current domain. The goal of IDA is to build a unified model performing well on all the domains that we have encountered. We adopt the recurrent neural network (RNN) widely used in NLP, but augment it with a directly parameterized memory bank, which is retrieved by an attention mechanism at each step of RNN transition. The memory bank provides a natural way of IDA: when adapting our model to a new domain, we progressively add new slots to the memory bank, which increases the number of parameters, and thus the model capacity. We learn the new memory slots and fine-tune existing parameters by back-propagation. Experimental results show that our approach achieves significantly better performance than fine-tuning alone. Compared with expanding hidden states, our approach is more robust for old domains, shown by both empirical and theoretical results. Our model also outperforms previous work of IDA including elastic weight consolidation and progressive neural networks in the experiments.

연구 동기 및 목표

• 도메인이 순차적으로 도착하는 점진적 도메인 적응(IDA) 환경에서 치명적인 잊음을 해결한다.
• 다시 처음부터 훈련하지 않고도 이전에 접한 도메인의 지식을 유지하면서 새로운 도메인에 적응할 수 있는 방법을 개발한다.
• 은닉 상태 성장을 대체로 점진적인 메모리 백업 확장을 통해 모델 용량을 증가시키는 메모리 증강 RNN 아키텍처를 제안한다.
• 기존 도메인에서의 성능 유지 측면에서 은닉 상태 성장보다 메모리 기반 용량 확장을 더 견고하게 한다는 것을 입증한다.
• 단일 및 다중 도메인 환경에서 기존 IDA 기법인 미세조정, 탄성 가중치 보존(Elastic Weight Consolidation, EWC), 프로그레시브 신경망을 능가한다.

제안 방법

• 실수값 벡터로 구성된 직접 매개변수화된 메모리 백업을 순환 신경망(RNN)에 추가하여 도메인 특화 지식을 저장한다.
• RNN 순방향 전파 중 주의 메커니즘을 통해 메모리 벡터를 검색함으로써 관련 도메인 정보에 동적으로 액세스할 수 있도록 한다.
• 새로운 도메인이 도착하면 메모리 백업에 새로운 슬롯을 점진적으로 추가하여 RNN 아키텍처를 수정하지 않고도 모델 용량을 증가시킨다.
• 백프로파게이션을 사용하여 RNN 가중치와 기존 메모리 백업을 포함한 모든 모델 파라미터를 미세조정하여 새로운 데이터에 적응시킨다.
• 은닉 상태 성장과의 공정한 비교를 위해 총 파라미터 수를 일치시켜 용량 확장 메커니즘의 영향을 고립한다.
• 성능 차이의 통계적 유의성을 검증하기 위해 부트스트래핑을 적용한 한쪽 검정의 Wilcoxon signed-rank 검정을 사용한다.

실험 결과

연구 질문

• RQ1 표준적인 미세조정 대비 점진적 메모리 백업 확장을 통해 치명적인 잊음을 완화할 수 있는가?
• RQ2 기존에 보았던 도메인에서의 성능 유지 측면에서 은닉 상태 성장 대비 메모리 기반 용량 확장이 더 견고한가?
• RQ3 다중 도메인 환경에서 기존의 IDA 기법인 탄성 가중치 보존(Elastic Weight Consolidation, EWC)과 프로그레시브 신경망과 비교해 성능은 어떠한가?
• RQ4 새로운 도메인이 추가될수록 이전 도메인에서의 성능이 유지되거나 향상되는가? 이는 안정적인 지속적 학습을 의미하는가?
• RQ5 주목적 기반 메모리 검색 메커니즘이 공동 훈련 없이도 도메인 간 효과적인 지식 이행을 가능하게 하는가?

주요 결과

• 제안된 점진적 메모리 백업 방법은 소스 도메인과 타겟 도메인 양쪽에서 표준적인 미세조정보다 유의미하게 뛰어난 성능을 보이며, Wilcoxon signed-rank 검정을 통한 통계적 유의성 확인이 이루어졌다.
• 은닉 상태 성장과 비교해 메모리 기반 확장은 소스 도메인에서의 성능 저하가 더 적어, 기존 지식에 대한 오염이 덜하다는 이론적 주장에 부합한다.
• 모든 도메인에서 다중 작업 학습과 유사한 성능을 달성했으며, 이는 동시에 모든 데이터에 접근할 필요 없이 점진적 학습임에도 불구하고 성립한다.
• 다중 도메인 환경에서 EWC와 원본 프로그레시브 신경망 모두를 성능 면에서 능가했으며, 오래된 도메인에서 일관된 향상이 관찰되었다.
• 더 많은 도메인이 추가될수록 이전 도메인에서의 성능이 점차 향상되며, 치명적인 잊음을 보이지 않는 안정적인 지속적 학습 행동을 나타낸다.
• 실험 결과 메모리 백업 메커니즘이 전체 네트워크가 각 도메인 업데이트 후에 미세조정되더라도 효과적인 지식 유지 및 이행을 가능하게 한다.