[논문 리뷰] Understanding Continual Learning Settings with Data Distribution Drift Analysis

Timothée Lesort, M. Caccia외 1명|arXiv (Cornell University)|2021. 04. 04.

Domain Adaptation and Few-Shot Learning인용 수 13

한 줄 요약

이 논문은 지속적 학습에서 데이터 또는 타겟 분포의 급격하거나 점진적인 변화인 컨텍스트 드리프트를 체계적으로 분류하기 위한 분포 드리프트 프레임워크를 제안한다. 드리프트 유형과 그 가정을 정형화함으로써 저자들은 CL 시나리오에 대해 정밀한 정의를 제공하여 알고리즘 평가 및 실제 환경 설정과의 일치를 향상시킨다.

ABSTRACT

Classical machine learning algorithms often assume that the data are drawn i.i.d. from a stationary probability distribution. Recently, continual learning emerged as a rapidly growing area of machine learning where this assumption is relaxed, i.e. where the data distribution is non-stationary and changes over time. This paper represents the state of data distribution by a context variable $c$. A drift in $c$ leads to a data distribution drift. A context drift may change the target distribution, the input distribution, or both. Moreover, distribution drifts might be abrupt or gradual. In continual learning, context drifts may interfere with the learning process and erase previously learned knowledge; thus, continual learning algorithms must include specialized mechanisms to deal with such drifts. In this paper, we aim to identify and categorize different types of context drifts and potential assumptions about them, to better characterize various continual-learning scenarios. Moreover, we propose to use the distribution drift framework to provide more precise definitions of several terms commonly used in the continual learning field.

연구 동기 및 목표

• 지속적 학습(CL) 시나리오에 대한 명확하고 표준화된 정의가 부족하여 알고리즘 평가 및 비교가 어렵다는 문제를 해결하기 위해.
• 지속적 학습을 방해하는 다양한 유형의 컨텍스트 드리프트—급격 대 점진적, 입력 대 타겟 분포 이동—을 식별하고 분류하기 위해.
• 분포 드리프트를 기반으로 한 정형화된 프레임워크를 제안하여 CL 설정을 더 정확하게 정의하고 특성화하기 위해.
• 평가에 잘 정의된 드리프트 가정을 기반으로 하여 벤치마크와 실제 응용 간의 일치를 향상시키기 위해.
• 특히 메타학습 및 소수 샘플 적응 설정에서 가정과 감독 신호의 역할을 명확히 하기 위해.

제안 방법

• 컨텍스트 변수 $ c $ 를 통해 데이터 분포 변화를 표현하며, $ c $ 의 드리프트가 분포 이동을 유도한다.
• 입력 분포, 타겟 분포 또는 둘 다에 영향을 주는지, 그리고 급격한지 점진적인지에 따라 드리프트를 유형별로 분류한다.
• 드리프트 프레임워크를 활용해 기존 CL 용어(예: 클래스 인크리멘탈, 도메인 인크리멘탈)를 분포 기반의 정형 정의로 재정의한다.
• 명시적인 드리프트 애너테이션과 가정을 포함하는 시나리오 기술 프로토콜을 제안하여 벤치마크 재현 가능성을 향상시킨다.
• 가정(예: 작업 유사성, 불변성)이 메타학습 및 전이 학습에서 지속적 설정에서의 성능에 미치는 영향을 분석한다.
• 벤치마크(통제된 평가를 위한 것)와 용도(실제 환경 검증을 위한 것)를 구분하며, 인위적인 가정에 과적합되지 않도록 주의 깊은 벤치마크 설계를 주장한다.

실험 결과

연구 질문

• RQ1 컨텍스트 드리프트는 지속적 학습에서 어떻게 정형적으로 분류될 수 있으며, 이를 통해 시나리오 특성화가 어떻게 향상될 수 있는가?
• RQ2 어떤 유형의 분포 드리프트(급격, 점진적, 입력-타겟 이동)가 지속적 학습에 가장 심각하게 영향을 미치며, 별도의 알고리즘 솔루션이 필요한가?
• RQ3 드리프트에 대한 가정(예: 작업 유사성, 불변성)이 메타학습 및 정규화 기반 CL 알고리즘의 성능에 어떻게 영향을 미치는가?
• RQ4 현재의 벤치마크는 실제 세계의 분포 이동을 어느 정도 반영하고 있으며, 어떻게 개선하여 인위적인 가정에 과적합되지 않도록 할 수 있는가?
• RQ5 감독 및 암묵적 신호는 분포 드리프트 하에서 지속적 학습을 가능하게 하는 데 어떤 역할을 하는가, 그리고 언제 그 역할이 부족해지는가?

주요 결과

• 논문은 치명적인 기억 상실이 컨텍스트 변수 $ c $ 의 분포 드리프트로 인해 발생하며, 이는 입력, 타겟 또는 둘 다의 분포에 영향을 줄 수 있음을 규명한다.
• 드리프트가 급격하거나 점진적인지의 구분이 지속적 학습 알고리즘 설계에 매우 중요하다는 점을 규명한다.
• 기존 CL 용어(예: 클래스 인크리멘탈, 도메인 인크리멘탈)가 정형적 기반을 갖추지 못하고 있음을 밝히며, 분포 드리프트를 활용해 이를 재정의할 것을 제안한다.
• 프레임워크는 메타학습 접근법이 지원 작업과 테스트 작업 간의 유사성, 특히 드리프트 유형과 배경 가정에 크게 의존함을 보여준다.
• 벤치마크는 특정 가정에 과적합되지 않도록 주의 깊게 설계되어야 하며, 실제 응용 사례는 벤치마크를 대체하는 것이 아니라 그 설계에 영향을 주어야 한다고 주장한다.
• 논문은 잘 애너테이션 처리된, 드리프트를 고려한 시나리오 기술이 CL 알고리즘 평가 및 실제 응용으로의 전이를 가능하게 하기 위해 필수적이라고 결론 내린다.