[논문 리뷰] The Effect of Task Ordering in Continual Learning

Samuel J. Bell, Neil D. Lawrence|arXiv (Cornell University)|2022. 05. 26.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 지속적 학습에서 작업 순서가 치명적 잊음에 미치는 영향을 입증하며, 작업 간 곡률 기반 거리 정보를 사용해 작업 순서를 최적화하는 새로운 방법을 제안한다. 새로운 작업을 햖을 때의 기울기 단계에 대한 헤시안 기반 곡률을 계산함으로써, 저자들은 순서를 최적화함으로써 무작위 순서 대비 잊음 양상을 최대 50% 감소시킬 수 있음을 보여주며, 지속적 학습의 성능 향상에 있어 작업 순서를 핵심 하이퍼파라미터로 설정함을 시사한다.

ABSTRACT

We investigate the effect of task ordering on continual learning performance. We conduct an extensive series of empirical experiments on synthetic and naturalistic datasets and show that reordering tasks significantly affects the amount of catastrophic forgetting. Connecting to the field of curriculum learning, we show that the effect of task ordering can be exploited to modify continual learning performance, and present a simple approach for doing so. Our method computes the distance between all pairs of tasks, where distance is defined as the source task curvature of a gradient step toward the target task. Using statistically rigorous methods and sound experimental design, we show that task ordering is an important aspect of continual learning that can be modified for improved performance.

연구 동기 및 목표

• 지속적 학습에서 작업 순서가 치명적 잊음에 어떤 영향을 미치는지 조사하여, 벤치마크 결과가 순서에 독립적이라는 가정을 도전한다.
• 교수법 원리에 영감을 받아 작업 순서를 활용해 지속적 학습 성능을 향상시킬 수 있는지 탐색한다.
• 헤시안 곡률과 기울기 단계와 같은 모델 및 작업 수준의 정보를 활용해 효과적인 작업 순서를 구성하는 실용적 방법을 개발한다.
• 실증적으로 작업 순서가 지속적 학습 성능의 변동성의 주요 원인임을 입증하며, 일반 벤치마크에서 자주 간과되는 요소임을 확인한다.
• 작업 공간을 통해 누적 곡률이 최대가 되는 경로가 항상 랜덤 및 최소 곡률 순서보다 뛰어난 성능을 보임을 보여준다.

제안 방법

• 메서드는 이전 작업의 최소점에서 새로운 작업 향해 첫 번째 기울기 단계의 곡률을 바탕으로 헤시안의 스펙트럼 반경을 사용해 작업 간 거리를 계산한다.
• 그래프 기반 접근법을 사용해 최적의 작업 순서를 찾으며, 작업을 노드로, 곡률 기반 거리를 간선으로 간주한다.
• 최적의 경로는 연속된 작업 쌍 간의 곡률 합을 최대화하는 경로로, '최대 합 경로'로 정의된다.
• ReLU 및 ResNet 아키텍처를 사용해 합성 및 실세계 데이터셋(MNIST, CIFAR-10, CIFAR-100)에서 평가된다.
• 성능 평가 시 평균 잊음도를 사용하며, 여러 랜덤 시드와 작업 순서에 걸쳐 통계적 엄밀함을 적용한다.
• 모델 용량이나 하이퍼파라미터를 변경하지 않고도 작업 순서가 제어 가능하다는 가정 하에 작동한다. 이는 활성 학습 및 실세계 구현 환경에서 일반적인 상황이다.

실험 결과

연구 질문

• RQ1 작업을 제시하는 순서가 지속적 학습에서 치명적 잊음에 상당한 영향을 미치는가?
• RQ2 모델 아키텍처나 하이퍼파라미터를 변경하지 않더라도 작업 순서를 활용해 치명적 잊음을 줄일 수 있는가?
• RQ3 작업 간 거리를 예측할 수 있는 원리적인 방법이 존재하는가? 이는 순서의 영향이 잊음에 어떤 영향을 미치는지를 설명할 수 있다.
• RQ4 최대 합 곡률 경로는 랜덤, 최소 곡률, 진정한 거리 기반 순서와 비교해 얼마나 잊음을 효과적으로 줄이는가?
• RQ5 작업 수가 증가함에 따라 작업 순서의 영향력이 감소하는가?

주요 결과

• 작업 순서는 치명적 잊음에 상당하고 측정 가능한 영향을 미치며, 다양한 순서에서 성능의 상당한 차이를 보인다.
• 누적 곡률을 최대화하는 '최대 합 곡률 경로'는 항상 랜덤 및 최소 곡률 순서보다 뛰어나며, 일부 설정에서는 잊음 양상을 최대 50% 감소시킨다.
• 순서 길이가 증가함에 따라 작업 순서의 영향력은 감소하며, 이는 CIFAR-10(t=5)과 CIFAR-100(t=10) 간 비교에서 순서에 따른 잊음의 분산 감소로 나타난다.
• 진정한 작업 거리(기본 매개변수 기반)에서 가장 긴 경로는 가장 낮은 잊음과 관련이 있으며, 이는 더 큰 분리가 표현적 오버랩을 감소시킨다는 가설을 지지한다.
• 제안된 곡률 기반 방법은 작업 간 관계를 효과적으로 포착하며, 재학습 없이도 향상된 작업 순서를 체계적으로 구성할 수 있도록 한다.
• 본 연구는 작업 순서가 지속적 학습에서 이전에 간과되었지만 중요한 요소임을 입증하며, 벤치마크 및 실세계 구현에 대한 함의를 제시한다.