[논문 리뷰] Continual Learning in Recurrent Neural Networks

Benjamin Ehret, Christian Henning외 4명|arXiv (Cornell University)|2020. 06. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 76인용 수 13

한 줄 요약

이 논문은 순환 신경망(RNN)에서 지속적 학습(CL) 방법에 대한 최초의 종합적 평가를 제공하며, Online EWC와 같은 가중치 중요도 방법이 높은 작업 기억 요구 사항으로 인해 유연성(플라스티시티)이 떨어지는 것을 입증한다. 이는 순환 가중치 재사용 때문이 아니며, 하이퍼넷 기반 정규화 방법이 RNN에서 가중치 중요도 방법보다 우월하다는 것을 보여주며, 순차적 데이터에 대한 지속적 학습의 보다 우수한 접근법으로서의 가능성을 제시한다.

ABSTRACT

While a diverse collection of continual learning (CL) methods has been proposed to prevent catastrophic forgetting, a thorough investigation of their effectiveness for processing sequential data with recurrent neural networks (RNNs) is lacking. Here, we provide the first comprehensive evaluation of established CL methods on a variety of sequential data benchmarks. Specifically, we shed light on the particularities that arise when applying weight-importance methods, such as elastic weight consolidation, to RNNs. In contrast to feedforward networks, RNNs iteratively reuse a shared set of weights and require working memory to process input samples. We show that the performance of weight-importance methods is not directly affected by the length of the processed sequences, but rather by high working memory requirements, which lead to an increased need for stability at the cost of decreased plasticity for learning subsequent tasks. We additionally provide theoretical arguments supporting this interpretation by studying linear RNNs. Our study shows that established CL methods can be successfully ported to the recurrent case, and that a recent regularization approach based on hypernetworks outperforms weight-importance methods, thus emerging as a promising candidate for CL in RNNs. Overall, we provide insights on the differences between CL in feedforward networks and RNNs, while guiding towards effective solutions to tackle CL on sequential data.

연구 동기 및 목표

• 순차적 데이터에 대해 순환 신경망(RNN)에서 기존의 지속적 학습(CL) 방법—특히 가중치 중요도 접근법—을 평가하기 위해.
• Elastic Weight Consolidation(EWC)과 같은 가중치 중요도 방법이 피드포워드 네트워크에서는 성공했지만 RNN에서는 성능이 떨어지는 이유를 조사하기 위해.
• RNN에서 성능 저하의 근본 원인을 순환 가중치 재사용과 작업 기억 요구 사항 사이에서 구분하기 위해.
• 표준화된 벤치마크 하에서 정규화 기반 CL 방법, 특히 하이퍼넷을 포함한 성능을 비교하기 위해.
• 미래의 RNN를 위한 지속적 학습 연구를 위해 재현 가능한 코드베이스와 수정된 순차적 데이터셋을 제공하기 위해.

제안 방법

• 기존의 CL 방법—특히 Online EWC와 Synaptic Intelligence(SI)—를 RNN로 이식하여 순차적 벤치마크에서 평가하였다.
• 메모리 효율적인 EWC의 변종인 Online EWC를 사용하여 피셔 정보를 통해 파라미터 중요도를 계산하고, 핵심 가중치에 대한 업데이트를 제약하였다.
• 작업 조건부 계산을 도입하여 작업 정체성을 추가 입력(예: one-hot 인코딩)으로 제공함으로써 RNN 내에서 선택적 처리를 가능하게 하였다.
• 복수의 순차적 작업—Copy Task, Sequential Stroke MNIST, AudioSet, 다국어 POS 태깅—에서 평균 정확도를 사용하여 성능을 평가하였다.
• 선형 RNN에 대한 이론적 분석을 수행하여, 안정성-플라스티시티 트레이드오프에 대한 경험적 발견을 뒷받침하였다.
• 작업별로 특화된 가중치를 생성하는 하이퍼넷 기반 정규화 방법(HNET)을 벤치마크하여, 동적이고 작업 인식 가능한 파라미터 업데이트를 가능하게 하였다.

실험 결과

연구 질문

• RQ1 피드포워드 네트워크에서는 성공했지만 RNN에서는 성능이 떨어지는 가중치 중요도 방법(예: Online EWC)의 원인은 무엇인가?
• RQ2 RNN에서의 성능 저하는 순환 가중치 재사용(시퀀스 길이) 때문인가, 높은 작업 기억 요구 사항 때문인가?
• RQ3 작업 조건부 계산은 RNN에서 가중치 중요도 방법의 성능을 향상시킬 수 있는가?
• RQ4 지속적 학습에서 하이퍼넷 기반 정규화 방법은 가중치 중요도 방법과 비교해 어떻게 성능을 내는가?
• RQ5 기존의 CL 방법들은 순차적 데이터에 적합하게 잘 튜닝된 경우, RNN에서 강력한 베이스라인으로 기능할 수 있는가?

주요 결과

• 가중치 중요도 방법의 성능은 시퀀스 길이의 직접적인 영향을 받지 않지만, 높은 작업 기억 요구 사항으로 인해 안정성은 증가하지만 플라스티시티가 감소하여 저하된다.
• m=2인 Sequential Split-SMNIST 작업에서, 작업 정체성이 입력으로 제공되지 않은 경우 Online EWC의 최종 정확도는 88.51%로 떨어졌지만, 작업 조건부 계산을 활성화한 경우 95.71%로 향상되었다.
• Audioset 벤치마크에서, 작업 조건부 입력이 있는 경우 Online EWC의 최종 정확도는 66.35%였고, 그렇지 않은 경우 65.56%였으며, 명시적 작업 조건부 입력이 성능 향상에 기여하는 것으로 확인되었다.
• 하이퍼넷 기반 방법(HNET)은 모든 벤치마크에서 Online EWC를 초월하여 Copy Task에서 평균 최종 정확도 95.78%를 기록한 반면, Online EWC는 68.41%에 그쳤다.
• 선형 RNN에 대한 이론적 분석은 경험적 발견을 지지하며, 안정성-플라스티시티 트레이드오프의 근본 원인이 순환 가중치 재사용이 아니라 작업 기억 요구 사항임을 입증한다.
• 이전의 회의론적 시각에도 불구하고, 작업 정체성이 명시적으로 입력으로 제공되는 경우, 특히 간단한 CL 시나리오에서는 Online EWC가 RNN에서 여전히 강력한 베이스라인으로 기능한다.