[논문 리뷰] Overcoming Catastrophic Interference by Conceptors

Xu He, Herbert Jaeger|arXiv (Cornell University)|2017. 07. 16.

Neural Networks and Reservoir Computing참고 문헌 7인용 수 10

한 줄 요약

이 논문은 깊이 있는 순환 신경망에서의 치명적 간섭을 줄이기 위해 개념자(conceptors)를 사용하여 이전에 학습한 작업 표현을 보호하는 방법인 컨셉서 보조 백프로파게이션(CAB)을 제안한다. CAB는 입력을 정규직교 부분공간으로 투영하여 이전 작업의 기억을 유지하면서 잔차 오차 보정을 통해 새로운 작업 학습을 가능하게 하여 이산적 및 퍼미uted MNIST 작업 모두에서 기존 방법들을 능가한다.

ABSTRACT

Catastrophic interference has been a major roadblock in the research of continual learning. Here we propose a variant of the back-propagation algorithm, "conceptor-aided back-prop" (CAB), in which gradients are shielded by conceptors against degradation of previously learned tasks. Conceptors have their origin in reservoir computing, where they have been previously shown to overcome catastrophic forgetting. CAB extends these results to deep feedforward networks. On the disjoint MNIST task CAB outperforms two other methods for coping with catastrophic interference that have recently been proposed in the deep learning field.

연구 동기 및 목표

• 연속 학습에서 새로운 작업을 학습할 때 기존에 학습한 작업을 잊는 신경망의 치명적 간섭 문제를 해결하기 위해.
• 이전에 저지대 계산에서 사용된 개념자 기반 정규화를 새로운 백프로파게이션 알고리즘을 통해 깊이 있는 순환 신경망으로 확장하기 위해.
• 이전 작업의 입력 패턴 부분공간에 대해 직교 부분공간으로 가중치 업데이트를 제약하여 기억을 유지하면서 점진적 학습을 가능하게 하기 위해.
• 작업 유사도(개념자 겹침을 통해)가 연속 학습 시나리오에서 학습 성능에 미치는 영향을 정량화하고 분석하기 위해.

제안 방법

• CAB는 각 작업에 대해 입력 패턴의 선형 부분공간을 정의하기 위해 입력 상관 행렬에 대한 릿지 회귀를 통해 개념자를 계산한다.
• 각 새로운 작업에 대해 CAB는 이전에 학습한 작업 부분공간과 직교하는 부분공간으로 입력 벡터를 투영하는 개념자 $ C^j $ 를 계산한다. 이때 $ F^j = \neg A^{j-1} $ 를 사용하며, 여기서 $ A^{j-1} $ 는 이전 개념자의 유니온이다.
• 네트워크의 오차는 오직 $ F^j $ 에 의해 투영된 성분들에서만 보정되며, 원래 부분공간의 학습된 표현이 유지된다.
• 네트워크 가중치를 갱신하기 위해 점진적 릿지 회귀를 사용하며, $ W^j_{\text{inc}} = (S S^\top)^{-1} S T^\top $ 를 통해 계산한다. 여기서 $ S = F^j X^j $ 이고 $ T = Y^j - W^{j-1} X^j $ 이다.
• 개념자는 $ C = R(R + \alpha^{-2}I)^{-1} $ 로 계산되며, 여기서 $ R $ 은 입력 상관 행렬이다. 이는 부드러운 투영과 메모리 관리 기능을 가능하게 한다.
• 작업 부분공간 간 겹침을 정량화하기 위해 유사도 측정 $ \rho(C^i, C^j) $ 를 사용하여, 이산적 및 퍼미uted MNIST 작업 간 성능 차이를 설명한다.

실험 결과

연구 질문

• RQ1 깊이 있는 순환 신경망에서 연속 학습 중에 치명적 간섭을 효과적으로 완화할 수 있는 방법은 무엇인가?
• RQ2 다른 작업의 입력 부분공간 겹침이 연속 학습 알고리즘 성능에 미치는 영향은 어느 정도인가?
• RQ3 기존에 저지대 계산에서 개발된 개념자 기반 정규화가 표준 백프로파게이션을 사용하는 깊이 신경망으로 성공적으로 확장될 수 있는가?
• RQ4 CAB는 다른 최신 기술들에 비해 기억 상실과 정확도 측면에서 연속 학습에 대해 어떻게 비교되는가?

주요 결과

• CAB는 이산적 MNIST 작업에서 치명적 간섭에 대응하는 최근 두 가지 딥러닝 방법보다 뛰어난 성능을 보이며, 뛰어난 연속 학습 성능을 입증한다.
• 퍼미uted MNIST 작업은 이산적 MNIST 작업보다 CAB에게 더 쉽다. 이는 개념자 겹침이 낮기 때문이다: $ \rho(C_{\text{original}}, C_{\text{permuted}}) \approx 0.3 $ 이며, $ \rho(C_{0\text{to}4}, C_{5\text{to}9}) \approx 0.95 $ 이다.
• 이산적 MNIST 작업에서 $ F_{5\text{to}9} $ (자유 메모리 공간)에 의해 투영된 이미지는 퍼미uted MNIST 작업에서의 것보다 훨씬 덜 구분 가능하다. 이는 이산적 MNIST에서 성능이 열 劣한 이유를 설명한다.
• 이 방법은 작업이 차지하는 입력 공간 비율을 측정하는 개념자 할당량 $ Q(C) $ 를 통해 가용 메모리 공간을 모니터링할 수 있다.
• CAB의 잔차 오차 보정 메커니즘은 이전 작업 부분공간과 직교하는 성분들에서만 효과적이며, 이는 작업들이 고차원 입력 부분공간을 공유할 경우 성능이 제한됨을 의미한다.