[논문 리뷰] Continual Backprop: Stochastic Gradient Descent with Persistent Randomness

Shibhansh Dohare, Richard S. Sutton외 1명|arXiv (Cornell University)|2021. 08. 13.

Domain Adaptation and Few-Shot Learning인용 수 13

한 줄 요약

이 논문은 역전파(Backprop)를 동반한 확률적 경사 하강법이 비정상적인 학습 환경에서 시간이 지남에 따라 적응 능력이 떨어지는 '점진적 유연성 감소(decaying plasticity)' 문제를 밝혀냈다. 이는 무작위 가중치 초기화를 한 번만 사용하기 때문이며, 이를 해결하기 위해 저자들은 지속적인 역전파(Continual Backprop, CBP)를 제안한다. CBP는 생성-검증 기반 메커니즘을 통해 지속적으로 무작위 특징을 주입함으로써, 수천 번의 비정상성 존재하는 환경에서도 지도학습 및 강화학습 과제에서 지속적인 적응을 가능하게 한다.

ABSTRACT

The Backprop algorithm for learning in neural networks utilizes two mechanisms: first, stochastic gradient descent and second, initialization with small random weights, where the latter is essential to the effectiveness of the former. We show that in continual learning setups, Backprop performs well initially, but over time its performance degrades. Stochastic gradient descent alone is insufficient to learn continually; the initial randomness enables only initial learning but not continual learning. To the best of our knowledge, ours is the first result showing this degradation in Backprop's ability to learn. To address this degradation in Backprop's plasticity, we propose an algorithm that continually injects random features alongside gradient descent using a new generate-and-test process. We call this the \ extit{Continual Backprop} algorithm. We show that, unlike Backprop, Continual Backprop is able to continually adapt in both supervised and reinforcement learning (RL) problems. Continual Backprop has the same computational complexity as Backprop and can be seen as a natural extension of Backprop for continual learning.

연구 동기 및 목표

• 비정상적인 학습 환경에서 다수의 분포 이동이 발생할 때 역전파가 왜 실패하는지 조사한다.
• 초기 무작위 가중치 초기화의 이점이 유지되지 않아 시간이 지남에 따라 모델의 적응 능력이 떨어지는 것을 규명한다.
• 동적인 환경에서 지속적인 적응 능력을 유지할 수 있는 확장성 있고 계산적으로 효율적인 알고리즘을 개발한다.
• 표준 정규화(예: L2)가 매우 비정상적인 문제에서 장기적인 적응에 부적합함을 입증한다.
• 역전파의 '점진적 유연성 감소' 문제를 해결함으로써 향후 강력한 지속적 학습 알고리즘의 기반을 마련한다.

제안 방법

• 지속적인 역전파(CBP)를 제안하며, 이는 표준 역전파에 지속적인 무작위성을 통합한 확장이다.
• 생성-검증 기반 메커니즘을 활용: 생성기가 새로운 무작위 특징을 제안하고, 검증기가 이들의 유틸리티를 평가하여 낮은 유틸리티를 가진 특징을 교체한다.
• 휴리스틱 기반 검증기를 사용하여 유틸리티가 낮은 특징을 식별하고 교체함으로써 지속적인 특징 다양성과 유연성을 확보한다.
• 표준 역전파와 동일한 계산 복잡도를 유지하므로 현대 딥러닝 프레임워크와의 호환성이 뛰어나다.
• 지속적인 학습 환경에서 지도학습(반정상 문제, Permuted MNIST)과 강화학습(Slippery Ant 환경)에 CBP를 적용한다.
• 정책 그래เดient 방법(예: PPO)과 CBP를 통합하여 비정상적인 강화학습 과제에서 지속적인 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비정상적인 학습 문제에서 다수의 분포 이동이 발생할 때, 역전파가 시간이 지남에 따라 적응 능력을 상실하는가?
• RQ2 초기 성능이 뛰어나도 역전파가 지속적 학습에서 왜 실패하는가?
• RQ3 지속적인 무작위 특징 주입이 동적인 환경에서 모델의 유연성을 복원하고 지속적으로 유지할 수 있는가?
• RQ4 장기적 적응 측면에서 CBP는 표준 역전파 및 L2 정규화를 적용한 역전파보다 어떻게 비교되는가?
• RQ5 CBP는 매우 비정상적인 설정에서 지도학습과 강화학습 양쪽에 효과적으로 적용될 수 있는가?

주요 결과

• 비정상적인 문제에서 조절된 초기화를 해도 역전파의 성능 저하가 심각하게 발생함을 확인하였으며, 이는 '점진적 유연성 감소' 문제의 증거이다.
• 수천 번의 비정상성이 존재하는 반정상 문제에서, 역전파의 테스트 정확도는 초반 학습 이후 급격히 감소하지만, CBP는 높은 성능을 유지한다.
• 퍼미uted MNIST 과제에서 CBP는 표준 역전파 및 L2 정규화를 적용한 역전파보다 뛰어난 성능을 보이며, 순차적인 데이터 분포 이동 동안 지속적인 정확도 유지가 가능하다.
• 비정상적인 강화학습 환경(Slippery Ant)에서 CPPO(지속적-PPO)는 PPO 및 PPO+L2보다 뛰어나며, 성능 저하 속도도 현저히 느리다.
• L2 정규화는 많은 비정상적인 설정에서 적응 능력을 유지하지 못함을 확인하였으며, 이는 CBP의 동적 특징 주입 방식에 비해 한계가 있음을 시사한다.
• CBP는 표준 방법과 동일한 계산 복잡도를 유지하면서도, 성능 면에서 기준 방법과 비슷하거나 뛰어나다.