[논문 리뷰] Orthogonal Gradient Descent for Continual Learning

Mehrdad Farajtabar, Navid Azizan외 2명|arXiv (Cornell University)|2019. 10. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 79인용 수 39

한 줄 요약

본 논문은 Orthogonal Gradient Descent (OGD)를 제시하며, 새로운 작업의 그래디언트를 이전 작업의 그래디언트 방향과 직교하는 부분 공간으로 투영함으로써 재앙적 망각을 완화하고, 과거 데이터를 저장하지 않고도 새로운 작업을 학습할 수 있게 한다.

ABSTRACT

Neural networks are achieving state of the art and sometimes super-human performance on learning tasks across a variety of domains. Whenever these problems require learning in a continual or sequential manner, however, neural networks suffer from the problem of catastrophic forgetting; they forget how to solve previous tasks after being trained on a new task, despite having the essential capacity to solve both tasks if they were trained on both simultaneously. In this paper, we propose to address this issue from a parameter space perspective and study an approach to restrict the direction of the gradient updates to avoid forgetting previously-learned data. We present the Orthogonal Gradient Descent (OGD) method, which accomplishes this goal by projecting the gradients from new tasks onto a subspace in which the neural network output on previous task does not change and the projected gradient is still in a useful direction for learning the new task. Our approach utilizes the high capacity of a neural network more efficiently and does not require storing the previously learned data that might raise privacy concerns. Experiments on common benchmarks reveal the effectiveness of the proposed OGD method.

연구 동기 및 목표

• 순차 작업 학습에서 재앙적 망각 해결.
• 원시 데이터를 저장하지 않고 업데이트를 제약하기 위해 이전 작업의 그래디언트 방향을 활용한다.
• 이전 지식을 보존하면서 신경망의 높은 용량을 활용해 새로운 작업을 학습한다.
• 효과를 유지하면서 메모리 필요를 줄이는 실용적인 OGD 변형을 제안한다.

제안 방법

• 이전 작업 예측에 대한 그래디언트 방향 {∇f_j(x; w)}를 계산한다.
• Gram-Schmidt를 이용하여 이전 작업 그래디언트(데이터 포인트 및 클래스별)로부터 직교 기저 S를 구성한다.
• 현재 작업의 그래디언트 g를 ˜g = g - sum_{v in S} proj_v(g)로 수정하여 업데이트가 이전 방향과 직교하도록 한다.
• 직교화된 그래디언트 ˜g를 사용하여 역전파를 적용한다.
• 메모리 사용을 제한하기 위해 각 이전 작업의 그래디언트 중 일부를 저장한다(OGD-GTL 변형).
• 메모리 감소 변형 두 가지를 설명한다: OGD-AVE(평균 로짓) 및 OGD-GTL(정답 로짓).
• 직교 그래디언트 강하(Algorithm 1)를 제공하며, 여기에는 그래디언트 계산, 투영, 매개변수 업데이트 및 그래디언트 부분 공간의 구성 포함.

실험 결과

연구 질문

• RQ1 새로운 작업의 그래디언트 업데이트를 저장된 과거 데이터 없이도 이전 작업과의 간섭을 최소화하도록 제약할 수 있는가?
• RQ2 이전 작업 그래디언트의 직교 공간에 투영하는 것이 다중 MNIST 기반 연속 학습 벤치마크에서 학습 효율성과 최종 정확도에 어떤 영향을 미치는가?
• RQ3 메모리 감소 변형(OGD-GTL, OGD-AVE)이 저장 요구를 줄이면서 성능을 유지하는가?

주요 결과

• OGD는 Permuted MNIST, Rotated MNIST, 및 Split MNIST에서 최신 지속 학습 기준과 비교하여 경쟁적이거나 우수한 성능을 달성한다.
• OGD는 여러 연속 작업에서 작업별 성능을 유지하며 가능하다면 다작업 학습에 근접하고 여러 설정에서 SGD 및 EWC 기준선을 상회한다.
• 메모리를 줄이는 OGD-GTL과 같은 변형은 일반적으로 좋은 성능을 보이며 많은 실험에서 A-GEM과 동등하거나 상회할 수 있다.
• 이 방법은 손실이 아닌 모델 출력(로짓)의 그래디언트에 의존하여 이전에 학습된 예측을 직접 보존하는 메커니즘을 제공한다.