[논문 리뷰] A Theory for Knowledge Transfer in Continual Learning

Diana Benavides‐Prado, Patricia Riddle|arXiv (Cornell University)|2022. 08. 14.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 지속적 감독 학습에서 전방 및 후방 지식 전이에 대한 이론적 프레임워크를 제안하며, 관련 작업이 많아질수록 성능 향상이 이루어지는 오차 한계를 도출한다. 주요 기여는 특정 아키텍처나 학습 방법에 의존하지 않는 일반적이고 구현에 관계없는 이론으로, 지식 전이가 오차를 감소시키고 점점 더 지식이 많은 학습자가 될 수 있음을 보여준다.

ABSTRACT

Continual learning of a stream of tasks is an active area in deep neural networks. The main challenge investigated has been the phenomenon of catastrophic forgetting or interference of newly acquired knowledge with knowledge from previous tasks. Recent work has investigated forward knowledge transfer to new tasks. Backward transfer for improving knowledge gained during previous tasks has received much less attention. There is in general limited understanding of how knowledge transfer could aid tasks learned continually. We present a theory for knowledge transfer in continual supervised learning, which considers both forward and backward transfer. We aim at understanding their impact for increasingly knowledgeable learners. We derive error bounds for each of these transfer mechanisms. These bounds are agnostic to specific implementations (e.g. deep neural networks). We demonstrate that, for a continual learner that observes related tasks, both forward and backward transfer can contribute to an increasing performance as more tasks are observed.

연구 동기 및 목표

• 지속적 학습에서 후방 지식 전이에 대한 이론적 이해 부족 문제를 다루며, 이는 치명적 잊힘보다 덜 다뤄진 분야이다.
• 특정 신경망 아키텍처나 학습 방법에 종속되지 않는 일반적인 이론적 프레임워크를 개발하여 지속적 학습에서 전방 및 후방 전이를 분석한다.
• 지식 전이(전방 및 후방)가 관련 작업이 많아질수록 성능 향상으로 이어질 수 있음을 보여준다.
• 학습된 작업 수가 증가함에 따라 각 작업당 필요로 하는 예시 수가 감소함을 보여주며, 지속적 학습의 확장성에 기여한다.
• 점점 더 지식이 많은 지속적 학습 시스템을 구축하기 위한 지식 전이 메커니즘에 대한 향후 연구를 장려한다.

제안 방법

• 프레임워크는 작업들이 예제 생성 분포의 유사성으로 관련이 있다고 가정하며, 가설 공간 간의 변환 함수를 통해 전이를 가능하게 한다.
• 작업 환경에서 편향 학습 관점에 기반해, 전방 전이(작업을 학습할 때) 및 후방 전이(미래 작업을 학습할 때)의 개별 작업에 대한 오차 한계를 도출한다.
• 이론은 세 가지 핵심 가정에 기반한다: 분포 유사성에 의한 작업 관련성, 각 작업에 충분한 학습 예시, 구현 세부 사항(예: 네트워크 아키텍처, 학습 방법)에 대한 무관성.
• 다중 작업 학습에 영향을 받은 접근 방식을 사용하여 오차 한계를 유도하며, 작업 유사성에 기반해 변환 함수가 가설 가족을 제약한다.
• 이론적 분석을 통해 전방 및 후방 전이 모두 일반화 오차를 감소시키며, 관찰된 작업 수가 많아질수록 성능 향상이 이루어짐을 보여준다.
• 사소한 회귀 예제(4개 작업)를 사용하여 프레임워크를 실증적으로 검증하며, 원천 작업을 부분적으로 학습시킨 6가지 전이 시나리오에서 R² 성능을 측정한다.

실험 결과

연구 질문

• RQ1 특정 모델 아키텍처에 종속되지 않는 방식으로 지속적 감독 학습에서 전방 및 후방 지식 전이를 이론적으로 분석할 수 있는 방법은 무엇인가?
• RQ2 지속적 학습 환경에서 전방 또는 후방 전이 하에 개별 작업에 대해 도출할 수 있는 오차 한계는 무엇인가?
• RQ3 작업 도착 순서가 각 작업이 얻을 수 있는 전방 및 후방 전이의 정도에 어떤 영향을 미치는가?
• RQ4 학습된 작업 수가 증가함에 따라 필요한 예시 수가 감소할 수 있는가?
• RQ5 후방 전이가 지속적 학습에서 이전에 학습된 작업의 성능을 향상시키는 방식은 무엇인가?

주요 결과

• 전방 및 후방 지식 전이 모두 관련 작업이 많아질수록 오차 감소와 성능 향상에 기여하며, 지속적 스트림에서 성능 향상이 이루어진다.
• 사소한 회귀 실험에서, 원천 작업을 부분적으로 학습시켜 f2를 향상시키는 전이 시나리오(예: f2: 0.8919±0.0174)는 고립 학습(f2: 0.8737±0.0127)보다 높은 R² 값을 기록하며 전이의 유용성을 입증한다.
• 부분적으로 학습된 원천 모델은 더 큰 가설 공간을 유지하여 더 효과적인 전이가 가능하며, 이는 후방/전방 전이를 위해 부분적으로 수렴한 모델을 저장하는 것이 필수적임을 시사한다.
• 방정정식 13에 제시된 이론적 한계에 따르면, 작업 수가 증가할수록 각 작업당 필요로 하는 예시 수가 감소함을 보여주며, 확장성에 기여한다.
• 관련이 없는 작업(예: f4 = x²)을 포함한 시나리오는 열악한 전이 성능(R² = 0.4322±0.0933)을 보이며, 전이가 관련 작업일 때만 유익함을 확인한다.
• 프레임워크는 구현에 관계없기 때문에, 변환 함수를 위한 전용 구성 요소를 갖춘 모듈러 또는 반모듈러 네트워크가 전이 효과를 향상시킬 수 있음을 시사한다.